InternEvo

环境构建

• 环境安装
  • 环境准备
  • pip方式安装
  • 源码方式安装
  • 额外安装
  • 环境镜像
• 环境安装（NPU）
  • 环境安装样例

快速上手

• 使用教程
  • 安装
  • 数据准备 （使用huggingface数据集）
  • 数据准备 （预训练）
  • 数据准备 （微调）
  • 训练配置
  • 启动训练
  • 运行结果
  • 加载训练的checkpoint并生成
  • 长文本生成

训练构建

• 训练构建
  • 命令行参数解析
  • 模型初始化
  • 优化器初始化
  • 数据加载器初始化
  • Trainer 初始化

训练 API

• 训练 API
  • Trainer

并行训练

• 并行训练
  • 张量并行
  • 流水线并行
  • 数据并行
  • ZeRO1.5

混合精度

• 混合精度
  • NaiveAMPModel
  • TF32训练

混合专家模型

• 混合专家模型
  • 参数配置
  • 模型训练

模型备份

• 模型加载与保存
  • CheckpointManager
  • 加载与存储格式约定
  • 异步上传
  • 快照检查点
  • 检查点自动恢复
  • 手动控制检查点存储

性能分析

• 性能分析
  • Torch Profiler
  • Memory Profiler

训练监控

• 监控和告警
  • 监控
  • 告警
  • 轻量监控

训练样例

• 训练样例
  • 7B Demo
  • 20B Demo

常见问题

• 问&答

索引和表格

• 索引

• 模块索引

• 搜索页面