PaddleFleetX
latest
飞桨分布式概览
整体介绍与内容概览
使用指南
安装PaddlePaddle
Collective训练
1. 快速开始
2. 数据并行
3. 性能优化
3.1. 设计综述
3.2. OP融合(计算,通信)
3.3. 通信重叠
3.4. 通信拓扑优化
3.5. 通信频率优化
3.6. 自动混合精度训练
3.7. 其他(调节资源的配比、增大bs等)
4. 大模型训练优化
ParameterServer训练
启动分布式任务
高阶内容
服务型弹性蒸馏训练
弹性训练
分布式训练搭建方案
公有云配置
Kubernetes 部署
附录
性能基准
FAQ
PaddleFleetX
Docs
»
Collective训练
»
3. 性能优化
Edit on GitHub
3. 性能优化
¶
性能优化
¶
3.1. 设计综述
3.2. OP融合(计算,通信)
3.3. 通信重叠
3.4. 通信拓扑优化
3.5. 通信频率优化
3.6. 自动混合精度训练
3.7. 其他(调节资源的配比、增大bs等)
Read the Docs
v: latest
Versions
latest
stable
Downloads
html
epub
On Read the Docs
Project Home
Builds
Free document hosting provided by
Read the Docs
.