不懂GPU深度学习,何以谈人工智能?

  • 时间:
  • 浏览:2

可不能不能说宽度学习爆发有3个 主要原应 , 3个 是像ImageNet原先的大规模数据集的一直出现,而原先重要原应 可是 计算能力的提高,而这主要得益于GPU用于宽度学习的加速,尤其是宽度学习训练的加速

随着宽度网络层数的增加,训练集动辄以T为单位计算,现在宽度学习的训练可能离不开GPU了,而GPU的计算能力也在不断的提升,以满足宽度学习训练的计算需求。

这不得不提到2012年的一场竞赛...

我觉得 宽度学习手中的神经网络基础理论早在上世纪500年代就已提出,经过几起几落的发展,到了21世纪初,多层神经网络算法也日趋成熟期的句子是什么是什么期的句子。宽度学习理论早在十多年然后 都在重要突破,为什么在么在直到近年才一直出现爆发?

2012年,Geoffrey E. Hinton(与Yann LeCun 和Yoshua Bengio并称为宽度学习三驾马车)的弟子Alex Krizhevsky在ILSVRC-2012的图像分呼告赛中使用2块Nvidia GTX 5500 GPU训练的多层神经网络(然后 被称为AlexNet)以15.3%的top-5测试错误率摘得冠军,而使用传统土依据的第二名的成绩是26.2%,整整提高了10多个百分点。这也成为了宽度学习发展史上的里程碑事件,从此宽度神经网络一炮走红,此后ILSVRC的优胜者一直被宽度神经网络霸占。

一年半然后 ,AlphaGo完胜李世乭的围棋赛让宽度学习(Deep Learning)你这名名词家喻户晓,再度掀起了人工智能的新一波热潮。

Alex当时使用的数据集包含17万张高清图片,受限于单块GTX 5500 GPU 3GB的内存,让另一个人 使用了2块GPU来训练让另一个人 包含50000万参数和67万神经节点的网络,当时花了5~6天的时间。可不能不能想象,那么GPU的加速,要完成那么大规模的数据集的多层神经网络训练大慨多长的时间。