对比PyTorch、TensorFlow、JAX、Theano，我发现都在关注两大问题
最近，我在处理 PyTorch 分布式和 TorchRec 相关的工作，为此，我开始学习 PyTorch 2.0。在业余时间，我也在跟着Alpa作者学习JAX和XLA。如今回顾这些技术，我发现它们的关注点似乎都是如下两个问题：包含自动求导和并行在内的函数转换，例如 vmap, pmap 和 pjit 等；异构计算，CPU 负责控制流，GPU/TPU 负责张...
CSDN · 2022-12-20 08:03:00
