欢迎浏览我们的网站

kaiyun - 中国股份有限公司 (官方网站)

专注于计算机视觉与自然语言处理技术研发与应用

kaiyun - 中国股份有限公司 (官方网站) 提供智能化解决方案,助力企业挖掘数据价值

全国免费咨询热线:

13801009450

当前位置: 首页 > 资讯中心 > 行业观察

新方法提升AI预训练效率和准确性

文章作者:小编 人气:发表时间:2025-12-16 00:37:28

  加拿大滑铁卢大学研发出一种名为SubTrack++的全新训练方法,不仅可大幅缩短大语言模型的预训练时间,更能显著提升其准确性。这一突破有望降低构建

  大语言模型是基于深度神经网络、专注于理解与生成人类自然语言的AI系统。其核心能力源于海量文本数据的预训练,借此学习语法规律、语义逻辑及上下文关联,从而输出贴近人类表达习惯的内容。这类模型的“大”体现在两方面:一是训练数据规模巨大,二是模型参数量极为庞大。kaiyun开云正因如此,对其进行预训练往往需要数月时间,并消耗大量算力、专用硬件及电力,高昂成本使一般企业与机构难以承担。

  为破解这一难题,团队开发出SubTrack++方法,可将预训练耗时缩减一半。团队指出,大语言模型能耗极高,即便训练时间仅减少5%,也能带来显著效益。从长远看,此类技术进步将推动更多人自主构建专属的大语言模型。

  团队解释说,大语言模型本质是由庞大数字矩阵构成的神经网络,通过数十亿次试错学习预测文本序列。每当预测出错,模型便微调其数学参数以提升准确率。这一过程如同让模型“阅读整座图书馆”,从中学习人类如何使用语言。SubTrack++通过聚焦对任务最关键的核心参数,kaiyun开云简化校正流程,实现高效微调,从而加速整体预训练。

  团队期望,通过节省预训练时间,未来不只大型企业,普通用户也能构建并定制属于自己的AI工具。安全学习个人偏好后,大语言模型可成为真正的智能数字助理,适应不同用户的风格、目标与需求,成为人类工作与创造中的得力伙伴。