PaddleFleetX
latest

飞桨分布式概览

  • 整体介绍与内容概览

使用指南

  • 安装PaddlePaddle
  • Collective训练
    • 1. 快速开始
    • 2. 数据并行
    • 3. 性能优化
    • 4. 大模型训练优化
      • 4.1. 前向重计算
      • 4.2. Gradient Merge
      • 4.3. 使用LARS / LAMB 优化分布式超大batch 训练
      • 4.4. 飞桨大规模分类库使用介绍
      • 4.5. 使用Sharding 训练超大模型
      • 4.6. 模型并行
      • 4.7. 流水线并行
      • 4.8. 飞桨4D混合并行训练使用指南
      • 4.9. GPT模型训练
  • ParameterServer训练
  • 启动分布式任务

高阶内容

  • 服务型弹性蒸馏训练
  • 弹性训练

分布式训练搭建方案

  • 公有云配置
  • Kubernetes 部署

附录

  • 性能基准
  • FAQ
PaddleFleetX
  • Docs »
  • Collective训练 »
  • 4. 大模型训练优化
  • Edit on GitHub

4. 大模型训练优化¶

大模型训练优化¶

  • 4.1. 前向重计算
  • 4.2. Gradient Merge
  • 4.3. 使用LARS / LAMB 优化分布式超大batch 训练
  • 4.4. 飞桨大规模分类库使用介绍
  • 4.5. 使用Sharding 训练超大模型
  • 4.6. 模型并行
  • 4.7. 流水线并行
  • 4.8. 飞桨4D混合并行训练使用指南
  • 4.9. GPT模型训练
Next Previous

© Copyright 2020, PaddlePaddle Revision a68cd53c.

Built with Sphinx using a theme provided by Read the Docs.