打破不可能三角、比肩5400亿模型，IDEA封神榜团队仅2亿级模型达到零样本学习SOTA
自从 GPT-3 问世，展现出千亿级模型的强大实力以来，NLP 任务面临着规模、样本、Fine-tuning 性能的不可能三角。如何在保证 10 亿参数以下的语言模型可以达到 SOTA 的 Few-Shot （甚至是 Zero-shot）还有 Fine-tuning 的性能？一定要上千亿的参数并且忍受不稳定的 prompt 提示才可以解决 zero-shot 场景吗？本文中，IDEA 研究院封神榜团队介绍了一种新的「表现型」UniMC，仅有 2 亿参数即可达到 Zero-shot 的 SOTA。相关工作已经被 EMNLP 2022 接收。
机器之心 · 2022-10-25 14:32:00
