OneFlow源码解析：Eager模式下的SBP Signature推导
OneFlow 的 Global Tensor 有两个必要属性：Placement：决定了 tensor 数据分布在哪些设备上。SBP：决定了 tensor 数据在这些设备上的分布方式。例如：split：将切分后的不同部分放到不同设备；同时指定切分的 axis。broadcast：将数据复制到各个设备。如果参与运算的 tensor 的 SBP 不一样，结果 tensor 的...
CSDN · 2023-02-10 08:03:00
