👽🤪👽

翻腾的鱼

万鱼来朝

万鱼翻腾

对国内的大模型开发企业而言，语料库短缺问题比较严峻。因为当前大模型数据库以英文居多，中文语料占比较低。还有，图表、复杂公式等元素处理也是大模型语料处理中的“拦路虎”。在金融报表、行业报告等文档中，表格中的数据指标至关重要，但部分大模型并不能正确“理解”表格里行、列、单元格的意义，导致大模型对整个表格的识别结果产生误差，最终得出错误的结论。

基于此，在关注大模型“无所不能”时，也要关注大模型的短板。积极信号是，越来越多的大模型开发者开始关注“可信大模型”。有的开发出“大模型加速器”，帮助大模型理解图表等相对复杂的语料库万鱼翻腾，从源头为大模型训练与应用输送纯净“燃料”；也有的在大模型开发中引入对应的技术，尽量消除“AI幻觉”，助力大模型跑得更快更稳。