Pipeline 并行时间图生成器
输入配置后自动生成 GPU 时间线。图中数字是 micro-batch 编号,颜色表示前向/后向以及虚拟 stage 组。
m(GPU 数)
v(每张卡虚拟 stage 数)
micro-batches
模式
Interleaved 1F1B
AFAB
生成图