日前,《国家科学评论》(National Science Review,NSR)在线发表了由北京大学信息科学技术学院、高可信软件技术教育部重点实验室崔斌教授课题组与腾讯数据平台部合作撰写的论文《一种新型大规模分布式机器学习体系Angel》(Angel: a new large-scale machine learning system,DOI: 10.1093/nsr/nwx018)。这是首篇刊登在NSR的信息科学领域研究论文。
文章回顾了学术界和工业界近期共同关注的机器学习体系,偏重介绍了Angel体系的设计思想和实现细节,并通过对多个大规模数据集上不同机器学习算法和体系的比较,验证了Angel体系在分布式机器学习方面的有用性。
现有的机器学习体系都是针对不同类型的机器学习义务而搭建的。数据流体系Hadoop和Spark适用于通用的数据处理义务和构建机器学习流水线,但缺乏参数共享机制,存在单点瓶颈性能题目;图计算体系GraphLab、GraphX和Tux2等将机器学习计算抽象成图结构,可行使图结构的特征加速,但只适合具有稀少图结构的算法;深度学习体系TensorFlow、MXNet和Caffe2等行使参数服务器或全局归约进行分布式神经网络的训练,可行使GPU对神经网络的计算加速,但缺乏对稀少图结构的优化和支撑。
由北京大学-腾讯协同创新实验室开发的开源体系Angel(源代码见https://github.com/Tencent/angel)兼顾工业界的高可用性和学术界的创新性,集成和优化多种机器学习算法,是一个基于参数服务器理念的分布式机器学习框架,使机器学习算法在高维度模型上轻松运行。它围绕模型共享的核生理念,将高维度的大模型合理地切分到多个参数服务器节点,并通过高效的模型更新接口、运算函数和多变的同步协议实现各种高效的机器学习算法。得益于优秀的设计,Angel既能自力运行、高效实行多种机器学习算法,也能作为参数服务器服务,支撑Spark和现有深度学习框架,并为其加速。联合课题组基于工业界的海量数据,反复实践和调优,使得Angel具有广泛的适用性和稳固性,模型维度越高,上风越显明。经过在真实数据集上的对比,Angel在多种机器学习算法上的性能优于XGBoost、Spark、Petuum、TensorFlow等常用机器学习体系,已被应用于腾讯视频点击展望和广告保举等现实营业中。
Angel体系框架
Angel目前基于Java和Scala开发,将来还将加入Python等多种语言接口,使用更便捷,且参数服务器服务能力会进一步提拔,支撑图计算和深度学习框架。
编辑:山石
下一篇::深研院新材料学院在锂离子正极材料结构与性能研究取得紧张进展
- 广东省纳米微米材料研究重点实验室在光电分解水制氢领域取得进展
- Science报道北京大学周欢萍组、严纯华组及合作者在钙钛矿太阳能电池稳固性研究上的紧张进展
- 北京大学人民医院肝病研究所研究成果在柳叶刀-胃肠病与肝病发表
- 核物理与核技术国家重点实验室在揭示MAX相材料抗辐照损伤机制上取得紧张进展
- 北京市委常委、宣传部部长杜飞进到临我院调研
- 北京大学物理学院本科生在量子物理与机器学习研究方面取得进展
我有话说
成人高考
- 湖南成人高考,湖南成人高考报名
- 河北成人高考,河北成人高考报名
- 北京成人高考,北京成人高考报名
- 天津成人高考,天津成人高考报名
- 山西成人高考,山西成人高考报名
- 内蒙古成人高考,内蒙古成人高考报名
- 辽宁成人高考,辽宁成人高考报名
- 吉林成人高考,吉林成人高考报名
- 黑龙江成人高考,黑龙江成人高考报名
- 上海成人高考,上海成人高考报名
- 江苏成人高考,江苏成人高考报名
- 浙江成人高考,浙江成人高考报名
- 安徽成人高考,安徽成人高考报名
- 福建成人高考,福建成人高考报名
- 江西成人高考,江西成人高考报名
- 山东成人高考,山东成人高考报名
- 河南成人高考,河南成人高考报名
- 湖北成人高考,湖北成人高考报名
- 广东成人高考,广东成人高考报名
- 海南成人高考,海南成人高考报名
- 重庆成人高考,重庆成人高考报名
- 四川成人高考,四川成人高考报名
- 贵州成人高考,贵州成人高考报名
- 云南成人高考,云南成人高考报名
- 西藏成人高考,西藏成人高考报名
- 陕西成人高考,陕西成人高考报名
- 甘肃成人高考,甘肃成人高考报名
- 青海成人高考,青海成人高考报名
- 宁夏成人高考,宁夏成人高考报名
- 新疆成人高考,新疆成人高考报名
- 广西成人高考,广西成人高考报名
最新文章
- 1不忘初心 用青春写就红色记忆
为庆祝中国共产党成立98周年、中华人民共和......
- 2物理学院颜学庆卢海洋团队提
日前,北京大学物理学院颜学庆教授和卢海洋研......
- 3人民医院纪立农团队糖尿病分
日前,国际权威杂志《柳叶刀》糖尿病与内分泌......
- 4物理评论快报报道刘运全教授
原子分子内电子运动的时间尺度约在阿秒(10-......
- 5物理学院颜学庆马文君团队行
日前,北京大学物理学院颜学庆教授/马文君研......
推荐文章
热门文章
- 1北大深圳研究生院新材料学院发表
可充电锂离子电池因其具备高的功率密度在能...
- 2城环学院生态系博士生在Ecology
8月8日,北京大学城市与环境学院生态系博士生...
- 3广东省纳米微米材料研究重点实验
广东省纳米微米材料研究重点实验室近期在国...
- 4工学院郭少军团队在Advanced Mat
近日,北京大学工学院郭少军团队在燃料电池高...
- 5生科院蒋争凡课题组连发两篇文章
近日,国际著名免疫学术期刊PLOSPathogens和...