云栖大会发布全球调度算法大赛,阿里又要搞什么黑科技

互联网
阅读:
2019-07-01 10:05:34

6月7日,阿里巴巴系统软件事业部研究员张瓅玶(谷朴)与阿里云机器智能首席科学家闵万里(山景)在上海云栖大会发布首届阿里巴巴全球调度算法大赛,通过阿里云天池平台,邀请来自海内外顶尖算法工程师、高校学者、学生共同探讨如何更优雅地运用调度算法解决资源调度问题。

互联网普及的20年来,互联网技术已经重塑各行各业,渗透到人们生活的方方面面,云计算已经成为了行业发展必不可少的基础设施,互联网服务规模和数据规模也随之大幅增长。日益增长的服务规模和数据规模带来数据中心的急剧膨胀。Gartner在2017年的云计算市场报告中预测:到2020年全球云计算市场的规模将达到4110亿美元。然而,根据盖特纳和麦肯锡的调研数据,全球的服务器利用率并不高,只有6%到12%。即使通过虚拟化技术优化,利用率还是只有7%-17%。这不仅浪费企业基础设施成本、间接增加了用户的成本;从环保的角度看,这些空闲服务器将在全球浪费了十亿瓦级别的工作负载,却没有带来任何商业、社会价值。 

这正是传统运维和粗放的资源使用模式带来的最大问题。于是基于自动化调度的集群管理系统纷纷涌现,此次调度算法大赛就是基于这样的背景,目标就是提高系统资源利用率。

真实业务场景、行业专家指导

阿里集团电商、云计算、金融、物流等业务蓬勃发展,每天服务全球数亿用户,为了承载这些业务,我们有着全球第一的Java应用规模、以及海量服务器的操作系统与内核。这给我们带来巨大的挑战和创新机会。随着集群规模的不断扩大,资源利用率即使是1%的提升,也能给基础设施的成本带来非常显著的节约。此次赛题来自阿里巴巴真实生产环境,参赛者将有机会接触到阿里实际业务场景,将算法应用到海量集群调度上。

为了确保比赛的专业、公正,本届全球调度算法大赛邀请到了多位专家参与赛题评审。

包云岗:中科院计算所研究员,博士生导师,先进计算机系统研究中心副主任

吴恒:中国科学院软件研究所副研究员

林昊(毕玄):阿里巴巴研究员

丁宇(叔同):阿里巴巴资深技术专家、天猫双十一技术大队长、调度系统团队负责人

蔡景现(多隆):阿里巴巴合伙人、阿里巴巴高级研究员

Kingsum Chow:阿里巴巴研究员

张瓅玶(谷朴):阿里巴巴研究员

朱胜火(胜火):阿里巴巴研究员

侯前明(林轩):阿里巴巴资深技术专家

杨森:阿里巴巴高级技术专家

另外,在技术指导与交流环节,大赛邀请到了阿里系统软件事业部多位资深调度专家与选手近距离交流,沟通业务场景、传授解题思路。

挑战技术极限,1%的优化撬动亿级成本节约

在庞大的数据中心服务器规模下,平均利用率每提高1%,就会带来非常可观的成本节约。仅以10万台服务器为例,利用率从28%提升到40%,就能节省出3万台机器。节约的成本大约有6个亿。同时,数据中心的资源利用率提升还将进一步促进数据中心在能耗、空间占用、制冷等方面的节省,再次放大成本解决的效果。阿里巴巴拥有超大规模的数据中心,每一点资源利用率的提升都将为阿里巴巴自身和整个社会带来可观的能源节约,让用户享受更加绿色的计算资源。

20万奖金池、直通硅谷hackthon、绿色招聘通道

为了吸引更多算法人才,发掘优秀的算法模型。首届阿里全球调度算法大赛准备了20万奖金池。此外,决赛获奖选手将直通10月硅谷调度hackthon,获得硅谷游学机会,与硅谷算法达人现场竞技、交流经验,并直接进入阿里集团绿色招聘通道。 

本次大赛已于6月7日正式启动,8月14日结束报名。拟于9月初进行现场Demo并在杭州云栖大会进行颁奖典礼。