术语 术语 解释 dev-box 集群安装、管理与维护节点,不用的时候可以关机,请不要格式化,否则再也无法维护集群 master 集群主节点 worker 集群计算节点 所有机器 包括dev-box、master和worker在 ...
PyTorch DistributedDataParallel训练踩坑记录
问题所在:当需要用DDP同时训练多个模型时,正常情况下将每个模型用DistributedDataParallel类包裹一下即可。当时我想着这样挺麻烦的,就想了一个取巧的办法:我用torch.nn.Module.add_module将所有模型注册成为一个大模型,然后以整体一次传递给Distribute ...
制作可同时插入 Word 和 LaTeX 的 矢量图
LaTeX 对矢量图的支持最好的格式是pdf,而 Word 对矢量图的支持最好的是 SVG 格式。 使用 PowerPoint 绘图,让图像占满整个单页的 PowerPoint 页面,导出为pdf即可直接插入到 LaTeX。如果图像没有占满整个 PowerPoint 页面,可以使用 Adobe A ...
Linux Matplotlib 安装 Times New Roman 字体
cdcurl https://dl.freefontsfamily.com/download/Times-New-Roman-Font/ -o Times-New-roman.zipunzip Times-New-roman.zippython -c "import matplotlib; ...
Ubuntu Apt Update失败
Ubuntu 18.04 apt update报错,报错信息如下:Could not handshake: Error in the certificate verification.。 问题根源:证书过期。 解决方案来自:https://github.com/tuna/issues/issue ...
Openpai v1.8.0部署总结
过时了,请使用更新后的文档 术语 术语 解释 dev-box 集群安装、管理与维护节点,不用的时候可以关机,请不要格式化,否则再也无法维护集群 master 集群主节点 worker 集群计算节点 所有机器 包括dev-box ...
配置Docker镜像
简介 用于配置docker镜像的脚本,启用ssl保证安全性,兼容有无域名、兼容局域网或Internet网部署等情况。 服务端配置 安装docker和docker-compose https://docs.docker.com/engine/install/ubuntu/ https://d ...
Docker-Compose导致ssh连接断开的问题
一般情况下,使用docker-compose不会出现网络问题,但是我遭遇的这个情况比较特殊,故记录之。 我遭遇的情况是:通过172.17.0.0网段的客户端访问具有Internet地址的ssh服务器,此情况使用docker或docker-compose都会导致ssh连接断开。这种情况常见于单位内部 ...
解决使用容器部署NFS服务器无法限制客户端IP问题
部署Openpai后,我使用了nfs-server-alpine镜像为深度学习环境搭建数据存储服务。不使用Openpai的storage-manager的原因是,当需要升级Openpai时,storage-manager也会一并关闭升级,这就导致所有运行中的服务由于IO错误而被迫中断。另一方面,考虑 ...