让预训练语言模型读懂数字：超对称技术发布10亿参数BigBang Transformer[乾元]金融大规模预训练语言模型
超对称技术公司发布10亿参数金融预训练语言模型BigBang Transformer[乾元]。BBT大模型基于时序-文本跨模态架构，融合训练文本和时序两种模态数据，下游任务准确率较T5同级别模型提升近10%，并大幅提高时序预测的R2 score。跨模态架构能让语言模型识别时序数据的变化并通过人类语言来分析和阐述其发现。BBT模型可用于金融量化投资的因子挖掘，支撑多因子策略，以及广泛的数据可视化和物联网的时序数据分析等。BBT模型的目标是实现具备人类级别分析能力的预训练大模型，构建可在行业落地的通用人工智能架构。
机器之心 · 2022-06-17 16:56:00
![让预训练语言模型读懂数字：超对称技术发布10亿参数BigBang Transformer[乾元]金融大规模预训练语言模型](https://image.jiqizhixin.com/uploads/article/cover_image/41c0be51-3b78-4a64-8f87-0670aadc8ccd/iShot_2022-06-17_16.56.11.png)
