2024 WAIC|蚂蚁集团原副总裁漆远创办无限光年发布光语大模型

为解决大模型现有的不靠谱等问题,无限光年提出了“灰盒”大模型的概念。

图片来源:视觉中国

蓝鲸新闻7月4日讯(记者 朱俊熹)7月4日,AI创业公司无限光年在2024年世界人工智能大会(WAIC)上正式发布可信光语大模型。据官方介绍,该模型在ProofWriter等逻辑推理数据集上准确率超过了GPT-4 Turbo。

无限光年还同步推出了两个行业大模型,其中光语金融大模型在CFA考试数据集上的准确率超过GPT-4 Turbo和Meta的Llama3-70B,医疗大模型也在中文医疗领域Medbench榜单上登顶第一。

成立于2022年5月,无限光年的创始人是蚂蚁集团原副总裁、复旦大学AI创新与产业研究院院长漆远。该公司创立初期曾专注于AI制药领域,之后转向大模型赛道,其投资者包括启明创投。

在WAIC论坛上,无限光年联合创始人徐盈辉表示,光语大模型此前一直没有出现在各类评测榜单上,他们希望能够实现严肃AI和可信AI的目标。

徐盈辉解释称,如ChatGPT这类具备文生图、图生文等能力的工具,虽然支持多轮对话,但只是“肌肉记忆”和“损失记忆”。即使可以通过检索增强生成(RAG)技术让大模型在一定数据的基础上进行回答,但这种数据记忆依然会受到存储的有限性和数据质量的不确定性的影响。

他指出,大模型行业还面临着一些共性的挑战。首先是语料资源的短缺,也就是供给大模型训练和评估的数据集。非营利研究机构Epoch AI 6月发布的一篇论文指出,未来10年内,数据增长的速度无法支撑起大模型的扩展,大语言模型会在2028年耗尽互联网上的所有文本数据。

其次是AI大模型存在的幻觉问题,所生成的文本不遵循原文或不符合事实。漆远在此前接受复旦大学访谈时表示,“如果想把大模型作为生产力工具,在科研、医学、金融等领域的核心业务里发挥重要作用,大模型的幻觉就是个大问题,可能会违背基础规律,导致差之毫厘,谬以千里。”

为解决大模型现有的不靠谱等问题,无限光年提出了“灰盒”大模型的概念。深度学习能够模拟人脑神经元的连接方式,自动提取和处理数据,但因为内部工作机制难以被解释,因此也被称为“黑盒子”。而逻辑推理则遵循明确的规则,易于被人类直接理解和验证,所以被视为“白盒子”。“灰盒”大模型将两者结合起来,旨在实现“知其然,更知其所以然”的效果。

徐盈辉在论坛发言中解释道,在将“灰盒”大模型针对特定领域或行业进行定制时,无限光年首先通过消除低质量数据、使用离线数据进行训练等策略,抑制大模型的幻觉。同时为了打造可信任的大模型,还采用了自建的Dense+Sparse向量搜索引擎,让生成的信息能够溯源。

最后在逻辑推理方面,无限光年称训练的大模型能够基于人类自然语言描述进行归纳式学习,构造公理库。然后通过推理引擎找到个性化的问题所对应的定理,以及执行引擎进行反馈,形成一套完整有效的体系。

#蓝鲸新闻直击WAIC2024