美国留学

机器心脏报告

编辑：Zhang Qian，Zenan

从代码和评论行中感觉到Alexnet的诞生。也许旧代码仍然包含激发未来的“新”知识。

想知道Alexnet 2012的原始代码是什么样的吗？现在，机会就在这里！刚才Google的首席科学家Jeff Dean宣布，他们已经与计算机历史博物馆（CHM）合作发布了Alexnet的源代码，并将长期保存代码。

打开后的代码库如下：

github链接：https://github.com/computerhistory/alexnet-source-code

Alexnet是一个识别照片内容的人工神经网络。它是由当时的多伦多大学研究生Alex Krizhevsky和Ilya Sutskever及其导师Geoffrey Hinton开发的。

在计算机历史上，Alexnet的出现具有划时代的意义。在出现之前，很少有机器学*研究人员使用神经网络。但是在Alexnet出现之后，几乎所有研究人员都使用了神经网络。从2012年到2022年，神经网络取得了持续的进步，包括综合可信的人类声音，击败GO冠军，模拟人类语言并创造艺术品……最终，Openai于2022年发行了Chatgpt…这是这一系列故事的重要起点。

杰夫·迪恩（Jeff Dean）说：“ Google很高兴为计算机历史博物馆贡献开创性的Alexnet项目的源代码。” “该代码是由Alex Krizhevsky，Ilya Sutskever和Geoffrey Hinton撰写的标志性论文《ImageNet Classification with Deep Convolutional Neural Networks》的基础，该论文彻底改变了计算机视野，并且是有史以来最引用的论文之一。”

根据Google Scholar数据，与Alexnet相关论文的引用数量已超过170,000。

除了代码本身的价值外，Huggingface联合创始人Thomas Wolf还发现，代码中的评论也非常启发。 “也许真实的历史是在Alexnet代码中每个实验配置文件末尾的实验记录的注释。开创性的神经网络正在诞生……”

有人还说：“ Alexnet代码的发布是AI爱好者的宝库，这是向深度学*的开拓者学*的绝佳机会。”

Alexnet，人工智能历史的转折点

在人工智能领域，可以将Alexnet视为其爆炸的起点。在本周的NVIDIA GTC会议上，Huang Renxun介绍了AI的发展历史。未来的一端是物理世界中的AI，过去的另一端是Alexnet。

人工智能，机器学*，深度学*的概念可以追溯到几十年来，但是在过去的十年中，它们才真正流行，这确实归因于Alexnet。

2012年，亚历克斯·克里兹赫夫斯基（Alex Krizhevsky），伊利亚·萨特（Ilya Sutskever），杰弗里·欣顿（Geoffrey Hinton）和多伦多大学（University of Toronto）的其他人提出了一个名为“ Alexnet”的深神经网络，并赢得了2012年大规模的视觉识别挑战Imagenet。

这三个都是AI领域的著名人物。杰弗里·欣顿（Geoffrey Hinton）被称为“深度学*之父”，后来在2018年获得了图灵奖，并于2024年获得了诺贝尔物理奖； Ilya Sutskever是Openai的联合创始人和前首席科学家，也是Alphago论文的众多作者之一。命名该模型的Alex Krizhevsky也是CIFAR-10和CIFAR-100数据集的创建者，但逐渐失去了对研究的兴趣，并于2017年9月离开Google。

杰弗里·欣顿（Geoffrey Hinton）描述了当年的Alexnet项目，得出结论：“ Ilya认为我们应该做到这一点，Alex使其正常工作，我赢得了诺贝尔奖。”

当时，家用计算机和GPU曾经训练Alexnet。

在Imagenet竞争中，参与者需要完成一个称为“对象区域”的任务，也就是说，给定一个包含特定目标和一系列目标类别的图像（例如飞机，瓶子，猫），每个团队的实现需要确定图像中的目标的哪个类别。

在当年的比赛中，Alexnet的表现非常破坏性。该团队首次使用了一个名为“卷积神经网络”（CNN）的深度学*体系结构，并充分利用了NVIDIA GPU的能力。由于表现出色，随后几年的Imagenet Challenge冠军继续使用CNN。

Alexnet的论文被2012年神经会议接受并发表，最初受到一些计算机视觉研究人员的质疑，但参加会议的Yann Lecun宣布这是人工智能发展的转折点。我们都知道以后发生了什么：在Alexnet之前，几乎没有使用神经网络的领先的计算机视觉纸。之后，几乎所有论文都使用神经网络。

这是计算机视觉历史上的关键时刻，也激发了人们对将深度学*应用于其他领域的兴趣（例如自然语言处理，机器人，推荐系统）。

开源代码，持续五年

Alexnet源代码成功发布的故事始于五年前。

2020年，CHM软件历史中心主任Hansen Hsu与Alex Krizhevsky联系以进行释放授权。但是，Alex Krizhevsky没有直接做出反应，而是将Hansen HSU介绍给Hinton，后者当时仍在Google工作。因为，在Google获得DNNResearch之后，Hinton，Sutskever和Krizhevsky创立的一家公司，Alexnet的知识产权属于Google。

之后，Hinton在CHM和Google的团队之间进行了促进，以推动整个事情的前进。双方花了五年的时间就发布问题和特定版本进行了谈判。

实际上，自从该论文于2012年发行以来，Alexnet的源代码已有多个版本可用，并且在GitHub上有许多称为“ Alexnet”的代码库，但其中许多不是原始代码，而是根据该论文重新创建的。以前，Krizhevsky的前身——CUDA-CONVNET也以开源代码发布，但在较小的CIFAR-10数据集中接受了培训。

CHM发布的代码库在2012年赢得Imagenet竞争时包含原始的Alexnet源代码，还包括在Imagenet数据集中训练的参数文件。

有兴趣的学生可以去阅读。

参考链接：

https://computerhistory.org/blog/chm-releases-alexnet-source-code/