网站首页
手机版

伯克利大学用约30美元训练出大模型TinyZero,越来越多的研究人员用阿里巴巴的技术来降低AI培训成本

更新时间:2025-05-20 01:00作者:佚名

最近,美国计算机科学家推出一种新的推理模型来生产最便宜的高性能AI模型的竞争正在加热,其中包括著名的“人工智能教母” Feifei Li,该模型在阿里巴巴的开源技术的支持下获得了不到50美元的培训。

根据上周发表的一份研究论文,S1推理模型是由斯坦福大学和华盛顿大学的研究人员根据中国电子商务巨头QWEN2.5-32B-INSTRUCT模型开发的。

伯克利大学用约30美元训练出大模型TinyZero,越来越多的研究人员用阿里巴巴的技术来降低AI培训成本

该论文说,在收到了1000个精心计划的问题的答案和Google的Gemini-ink-Exp模型所完善的“思考过程”之后,S1模型在数学和编程技能方面的O1-preview优于OpenAi的O1-preview。根据研究中提到的计算,仅运行GPU以开发S1的成本低至14美元,并且该模型在16个NVIDIA H100上训练了26分钟。这些筹码可以以每小时2美元的价格租用。加利福尼亚大学伯克利分校的计算机科学家Pang Jiayi说,以如此低成本(关于纽约熟食店的三明治价格)训练强大的推理模型的关键是基本模型。他说:“基本模型的质量是关键。”当他的团队启动一个项目时,潘得出了这个结论,该项目还建立在一系列QWEN2.5型号上,而花费约为30美元。通过使用强化学*,PAN的团队从Qwen25变化,该Qwen25使用了5亿个参数版本,更改为70亿个参数版本。潘在X上说,一旦使用了15亿个参数模型,它就开始“学*搜索,自我验证和修改其解决方案以获得更高的分数”。S1和Tinyzero选择了阿里巴巴的QWEN2.5,因为该模型的开源代码允许任何人允许任何人访问和修改基本模型,并且其性能良好。阿里巴巴云在9月首次推出了QWEN2.5系列,尺寸从5亿个参数到720亿个参数不等。参数是指人工智能系统训练过程中存在的变量。 AI模型的复杂性和有效性在很大程度上取决于培训过程中涉及的参数规模。在发布时,QWEN2.5-72B是该系列中最大的产品,其性能优于其他开源竞争对手,其中包括Meta平台的Llama3.1-405B,该竞争者要大得多。根据当时进行的基准测试,其性能也可与顶级封闭源模型(例如Microsoft支持的OpenAI和亚马逊支持的人类众多)相提并论。去年,它成为全球最大的深度学*和人工智能模型社区的拥抱面孔下载最多的模型,并取代了Meta的Llama系列,作为世界各地研究人员和开发人员的首选选择,解释了为什么通过对Qwen Models进行实验来增强对AI系统的类似努力。诸如OpenAI的GPT系列之类的顶级模型不是开源的,不能下载此类研究。在本月早些时候发表的一篇论文中,上海Jiaotong University的计算机科学家展示了一种使用高质量培训样本增强人工智能系统推理能力的方法,并且该实验还使用QWEN模型作为基础。加拿大滑铁卢大学计算机科学助理教授Wenhu Chen说:“ QWEN模型肯定有一些神奇的东西。”他在X上写道,他的团队试图用相同的数据质量方法训练其他模型,但几乎没有任何东西。

为您推荐

加州主要大学比较(加州的大学排行)

在加利福尼亚州,公立和私立大学在录取率、入学率、师生比、研究经费、奖学金比例、校园环境和学生评价等方面存在显著差异。以下是对一些著名的加州大学的详细比较:公立大学:加州大学伯克利分校 (UC Berkeley):录取率: 14.5%(竞争激

2025-05-20 00:59

加州大学伯克利分校留学指南:热门专业学费大公开! 加州大学伯克利分校入学条件

前言:这是一篇来自公众号达恩留学有关于加州大学伯克利分校的文章,旨在帮助想要留学美国名校的同学了解更多院校信息,一起来看看吧!加州大学伯克利分校是加州大学系统的旗舰校区,经过一个多世纪的发展,伯克利分校已经成为全球公认的顶尖公立大学之一,以

2025-05-20 00:59

全球教育巅峰:2024年世界排名前十大学震撼发布(全球教育排名)

在2024年的世界教育舞台上,排名前十的大学经历了一场前所未有的变革。传统的学术巨头们依旧坚如磐石,而新兴的力量也在迅速崛起,展现出不容小觑的学术实力和创新能力。第一名位于美国马萨诸塞州剑桥市的麻省理工学院(MIT)依旧稳居世界顶尖大学之列

2025-05-20 00:59

加州大学伯克利本硕博热门专业申请难度评估(加州大学伯克利分校专业强项)

 加州大学伯克利分校,这所屹立于全球高等教育前沿的学术殿堂,凭借顶尖的学术水平、雄厚的科研实力和多元的校园文化,吸引着世界各地的优秀学子。其热门专业更是竞争激烈,申请难度不容小觑。深入了解不同阶段热门专业的申请难度,能让申请者提前做好规划,

2025-05-20 00:58

2025 U.S.News美本「数据科学」排名!伯克利“碾压”斯坦福/MIT

如果要问哪个专业最能搭上数字化时代的“顺风车”,那必然是数据科学!课程设置上,数据科学属于跨学科专业,基础知识涉及微积分、统计学、代数学、数据分析、概率论、计算机等多个领域,几乎可以和其他任何专业搭上边,非常“万金油”。专业应用上,数据科学

2025-05-20 00:58

哈佛和特朗普又杠上了!继续延续五年前的闪电战,留学生的保卫战

读此文前,麻烦您点击一下“关注”,既方便您进行讨论与分享,又给您带来不一样的参与感,感谢您的支持!声明:本文内容均引用权威资料结合个人观点进行撰写,文末已标注文献来源,网络上可查,不涉及泄密,请知悉。4月21日,根据央视总台记者获悉,美国哈

2025-05-20 00:57