Siaimes's blog

再不努力就老咯!


  • 首页

  • 归档60

  • 分类14

  • 标签108

  • 关于

  • 搜索

Openpai v1.8.0部署总结 —— 新版

发表于 2022-05-30 | 更新于 2022-08-08 | 分类于 环境

术语 术语 解释 dev-box 集群安装、管理与维护节点,不用的时候可以关机,请不要格式化,否则再也无法维护集群 master 集群主节点 worker 集群计算节点 所有机器 包括dev-box、master和worker在 ...

阅读全文 »

PyTorch DistributedDataParallel训练踩坑记录

发表于 2022-03-08 | 更新于 2022-03-09 | 分类于 Deep Learning

问题所在:当需要用DDP同时训练多个模型时,正常情况下将每个模型用DistributedDataParallel类包裹一下即可。当时我想着这样挺麻烦的,就想了一个取巧的办法:我用torch.nn.Module.add_module将所有模型注册成为一个大模型,然后以整体一次传递给Distribute ...

阅读全文 »

制作可同时插入 Word 和 LaTeX 的 矢量图

发表于 2021-12-10 | 分类于 排版

LaTeX 对矢量图的支持最好的格式是pdf,而 Word 对矢量图的支持最好的是 SVG 格式。 使用 PowerPoint 绘图,让图像占满整个单页的 PowerPoint 页面,导出为pdf即可直接插入到 LaTeX。如果图像没有占满整个 PowerPoint 页面,可以使用 Adobe A ...

阅读全文 »

Linux Matplotlib 安装 Times New Roman 字体

发表于 2021-12-09 | 分类于 环境

cdcurl https://dl.freefontsfamily.com/download/Times-New-Roman-Font/ -o Times-New-roman.zipunzip Times-New-roman.zippython -c "import matplotlib; ...

阅读全文 »

Ubuntu Apt Update失败

发表于 2021-10-29 | 分类于 Ubuntu

Ubuntu 18.04 apt update报错,报错信息如下:Could not handshake: Error in the certificate verification.。 问题根源:证书过期。 解决方案来自:https://github.com/tuna/issues/issue ...

阅读全文 »

NFS共享的教训

发表于 2021-10-11 | 更新于 2021-10-13 | 分类于 linux

Ubuntu 18.04 系统上有2个6T的硬盘,分别挂载到/home和/usr下。现在要为这两个盘做nfs共享,但是nfs共享只能共享一个文件夹,如果要共享第二个文件夹,那么第二个文件夹必须是第一个文件夹的子文件夹。 这样,我要么只能共享/home/data,要么只能共享/usr/data。 ...

阅读全文 »

Openpai v1.8.0部署总结

发表于 2021-06-07 | 更新于 2022-05-30 | 分类于 环境

过时了,请使用更新后的文档 术语 术语 解释 dev-box 集群安装、管理与维护节点,不用的时候可以关机,请不要格式化,否则再也无法维护集群 master 集群主节点 worker 集群计算节点 所有机器 包括dev-box ...

阅读全文 »

配置Docker镜像

发表于 2021-05-12 | 更新于 2021-06-09 | 分类于 Linux

简介 用于配置docker镜像的脚本,启用ssl保证安全性,兼容有无域名、兼容局域网或Internet网部署等情况。 服务端配置 安装docker和docker-compose https://docs.docker.com/engine/install/ubuntu/ https://d ...

阅读全文 »

Docker-Compose导致ssh连接断开的问题

发表于 2021-04-29 | 更新于 2021-08-10 | 分类于 Linux

一般情况下,使用docker-compose不会出现网络问题,但是我遭遇的这个情况比较特殊,故记录之。 我遭遇的情况是:通过172.17.0.0网段的客户端访问具有Internet地址的ssh服务器,此情况使用docker或docker-compose都会导致ssh连接断开。这种情况常见于单位内部 ...

阅读全文 »

解决使用容器部署NFS服务器无法限制客户端IP问题

发表于 2021-01-01 | 更新于 2021-01-08 | 分类于 环境

部署Openpai后,我使用了nfs-server-alpine镜像为深度学习环境搭建数据存储服务。不使用Openpai的storage-manager的原因是,当需要升级Openpai时,storage-manager也会一并关闭升级,这就导致所有运行中的服务由于IO错误而被迫中断。另一方面,考虑 ...

阅读全文 »
12…6
siaimes

siaimes

60 日志
14 分类
108 标签
友情链接
  • Github
  • Next
© 2022 siaimes
|
0%