IBM深度学习演算法新突破 大幅缩短培训时间
2017-08-18 eepw

IBM Research宣布深度学习演算法出现新的突破,IBM新的分布式深度学习(DDL)软件让每个添加的处理器之间实现线性加速比(linear speedup),该开发旨在为添加到IBM DDL演算法的每个服务器实现类似的加速效能。

据EETimes报导,IBM加速认知基础设施部门主管Hillman Hunter认为,研究目标是将深度学习培训的等待时间从几天或几小时,缩短到几分钟或几秒钟。

Hunter发文描述这项开发成果,是最受欢迎的深度学习框架扩展到服务器中的多个GPU,而不是使用GPU的多个服务器。Hunter进一步指出,IBM团队编写的软件,可自动化和优化跨数百个GPU加速器上,十几个服务器所需要的庞大而复杂的并行运算任务。

IBM声称使用开源码Caffe深度学习框架,将最多256个NVIDIA Tesla P100 GPU添加到单个服务器上,缩放效能为95%,可应用在图像识别学习,以及类似的学习任务。IBM在50分钟的培训时间内实现几乎线性的缩放效率。Facebook之前在同一资料库上花60分钟的培训时间,效能为89%。

在ImageNet-22k资料库上的7个小时的培训中,IBM同样声称对750万幅影像的验证精确度为33.8%,而微软(Microsoft)之前针对同一资料库花10天培训,准确率为29.8%。IBM的处理器是PowerAI平台,具备64节点Power8集群,加上256个NVIDIA GPU,提供超过2 petaFLOPS。

IBM正在向所有PowerAI平台用户免费提供DDL套件,还为第三方开发人员提供各种应用程式介面(API),让开发人员选择与应用程式(App)最相关的基本演算法。