上下文长度的增加是 LLM 的一个显著发展趋势。过去一年，几种长上下文语言模型陆续问世，包括 GPT-4（32k上下文）、MosaicML 的 MPT（65k上下文）、Anthropic 的 Claude（100k上下文）等。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗...
CSDN · 2023-09-20 09:15:00
这场大模型时代的较量，谁能笑到最后？
InfoQ · 2023-09-20 06:56:00
英特尔将以怎样的新策略、新产品应对生成式AI大爆发带来的机遇和挑战？
InfoQ · 2023-09-20 01:33:00
