“在技术层面上，他们正在做一些非常简单的事情......但结果非常惊人。最重要的是，它在 OpenAI 的 GPT-4 图像模态之前出现。（这是）开源 AI 的真正胜利。”
CSDN · 2023-04-18 11:52:00
2020年，OpenAI提出了在增加模型尺寸与提高模型性能之间的扩展定律，指出人们应该将大部分预算用于扩大模型规模。这篇论文直接推动了增大模型规模的浪潮。然而，在预算和内存有限的情况下，盲目扩大模型规模并不是提升模型性能的最佳选择。2022年，DeepMind团队发表了一篇论文（https://arxiv.org/pdf/2203.15556.pdf），文中对比了模型大小和训练数据，最终结论是：多...
CSDN · 2023-04-18 08:03:00
