百度开发超级计算机 用于深度学习算法研究?
1月16日,百度表示正在开发全球最精准的计算机视觉系统Deep Image。该系统运行在为深度学习算法优化的超级计算机上。
据百度统计,该系统在Imange Net对象识别评分中的错误率仅为5.98%。2014年,一个来自谷歌的团队以6.66%的错误率夺冠。实验中,对于Image Net给出的数据集,人眼识别的错误率为5.1%。
Deep Image的主要优势是它的超级计算机Minwa。百度开发这台超级计算机的主要目的是为了适应Deep Image系统。在过去的几年里,关注深度学习的研究人员已经使用GPU(图形处理单元)来处理繁重的计算任务。事实上,Deep Image论文中引用的一项研究表明,在著名的Google Brain项目中,三台机器中12个GPU带来的性能达到了1000个节点的CPU集群的水平。百度首席科学家吴恩达此前曾参与谷歌大脑项目。
然而,到目前为止,还没有一家公司开发出类似Deep Image的专门系统,利用深度学习算法完成计算机视觉的相关工作。以下是本文中给出的配置信息:
该系统由36个服务器节点组成,每个节点配备两个六核英特尔至强E5-2620处理器。每台服务器包含四个NVIDIA特斯拉K40m GPU和一个FDR InfiniBand(速度56GB/S)。这为RDMA带来了高性能、低延迟的连接和支持。每个GPU的最大浮点性能为每秒4.29万亿次浮点运算,每个GPU还配备了12GB的内存。
总的来说,Minwa内置了6.9TB的主存和1.7TB的设备内存,理论上最大性能约为0.6万亿次浮点运算。
百度开发Minwa是为了解决深度图像算法的相关问题。“考虑到随机梯度优化算法的特点,设备的互联需要极高的带宽和超低的时延,从而将通信开销降到最低。这对于这种算法的分布式版本是必要的。”论文开发者_如何转开发的作者说。
有了这样一个强大的系统,研究人员可以使用不同的或比其他深度学习程序更好的训练数据。所以百度用的不是普通的256x256像素图片,而是512x512像素的图片,可以给这些图片添加各种特效,比如色彩调整、添加光晕、镜头畸变等等。这样做的目的是让系统学习更多更小尺寸的物体,识别各种环境中的物体。
百度正在大力投资深度学习算法。在Deep Image之前,百度还开发了语音识别系统Deep Speech。该产品于去年12月公开发布。百度高管曾表示,公司已经看到语音和图像搜索的比重越来越高,未来还会继续上升。如果百度的产品能更好的处理现实世界的数据,那么就能带来更好的用户体验。
百度并不是唯一从事这类研究的公司。在互联网市场,很多公司都在投入深度学习算法的研发,并取得了不错的效果。到目前为止,谷歌在ImageNet的实际竞争中保持了最高记录。该公司也在努力开发深度学习算法,本周还发布了谷歌翻译服务的新版本,该版本可能会利用这一技术。微软和脸书也有知名的深度学习算法研究人员,并在这个先进的研究领域继续努力。
雅虎、推特和Dropbox等公司也有自己的深度学习和计算机视觉团队。
精彩评论