PaddleFleetX
latest
飞桨分布式概览
整体介绍与内容概览
使用指南
安装PaddlePaddle
Collective训练
1. 快速开始
2. 数据并行
3. 性能优化
4. 大模型训练优化
4.1. 前向重计算
4.2. Gradient Merge
4.3. 使用LARS / LAMB 优化分布式超大batch 训练
4.4. 飞桨大规模分类库使用介绍
4.5. 使用Sharding 训练超大模型
4.6. 模型并行
4.7. 流水线并行
4.8. 飞桨4D混合并行训练使用指南
4.9. GPT模型训练
ParameterServer训练
启动分布式任务
高阶内容
服务型弹性蒸馏训练
弹性训练
分布式训练搭建方案
公有云配置
Kubernetes 部署
附录
性能基准
FAQ
PaddleFleetX
Docs
»
Collective训练
»
4. 大模型训练优化
»
4.9. GPT模型训练
Edit on GitHub
4.9. GPT模型训练
¶
请参考
示例代码
获取如何使用飞桨训练GPT模型。
Read the Docs
v: latest
Versions
latest
stable
Downloads
html
epub
On Read the Docs
Project Home
Builds
Free document hosting provided by
Read the Docs
.