清华大学发布深度学习框架——计图(Jittor)
清华新闻网4月2日电 清华大学计算机系图形学实验室多年来一直致力于计算机图形学、计算机视觉、机器学习和系统软件等领域的研究,并成立了北京信息科学与技术国家研究中心下的可视媒体智能计算团队。在国家自然科学基金委创新群体项目和国家研究中心自主科研项目的资助下,研究团队提出了一个全新的深度学习框架——计图(Jittor)。计图平台已于3月20日正式对外发布和开源,在著名开源平台Github上发布后立刻受到了广大深度学习开发者的好评。
深度学习技术正广泛应用于人工智能的各个领域,如计算机视觉、机器翻译、自然语言处理、智能机器人等,取得了前所未有的突破。当前,一方面,随着深度学习新技术的出现、任务复杂度的提高,易于扩展同时保持高效的架构成为发展趋势;另一方面,我国人工智能产业发展迅速,亟需构建自己的开源深度学习生态,避免被“卡脖子”。
计图是一个基于统一计算图的深度学习框架。计算图是一种描述深度学习模型的表达方式。现阶段主流深度学习框架多采用静态计算图或者动态计算图两种设计模式,静态图比较易于优化,如TensorFlow1.0。动态图相比静态图更加灵活,但是优化空间更小,如PyTorch。也有框架支持这两种计算图并且提供两者之间的转换工具,如TensorFlow2.0。计图创新的采用了统一计算图,用户并不需要手动切换,计图可以动态的将计算图拆分成可以优化的子静态图。让计图在保持动态图灵活性的同时,还可以发挥出静态图的运算性能。计图与国际主流平台相比,具有多项先进特性,其统一计算图的特性如下图所示。
图1 计图的统一计算图与其他平台特性对比
计图还采用元算子表达神经网络计算单元、并且将其动态编译(Just-in-Time)运行。深度学习采用的卷积神经网络是由算子(Operator)组成的一个计算网络。由于架构设计和不断扩充等原因,当前深度学习框架有多达2000种算子,系统复杂,优化和移植困难。计图将算子运算进一步分解,形成了更加底层的三类20余种元算子闭包,目前神经网络常用算子均可以使用元算子的组合进行表达。面向未来深度学习框架的发展趋势,计图利用元算子组合表达的优势,提出统一计算图进行优化,并从底层开始设计了一个全新的动态编译架构(图2)。该架构支持多种编译器,实现了所有代码的即时编译和动态运行,确保了实现和优化分离,大幅提升了应用开发灵活性、可拓展性和可移植性。
图2 “计图”通过元算子融合实现深度神经网络模型
目前ResNet、VGG、SSD、DeepLab、LSGAN等多个网络模型已经在计图平台实现,可供用户使用。与同类型框架相比,计图在收敛精度一致情况下,推理和训练速度取得了10%-50%的性能提升(图3)。 期望计图能为学界和业界提供一个灵活高效的深度学习平台,促进人工智能的研究和应用,赋能人工智能产业。
图3 Jittor和Pytorch推理与训练速度对比
计图(Jittor)官方网站:https://cg.cs.tsinghua.edu.cn/jittor
北京信息科学与技术国家研究中心是由科技部于2017年11月批准组建的六个国家研究中心之一,是适应大科学时代基础研究特点的综合交叉型信息科技创新基地,是新时期国家科技创新体系的重要组成部分。中心依托清华大学建设,依靠清华信息学科群的基础优势和综合学科优势、以及广泛的国内外影响力,在原清华信息科学与技术国家实验室十余年筹建工作的基础上,紧紧围绕国家创新驱动发展战略、信息科学前沿发展趋势及产业创新发展需要,凝聚力量,推动实现我国在信息领域跨越发展,服务国家“一带一路”全球战略、网络信息安全、社会经济转型等重大需求,努力建成国际一流的学术创新中心、学科引领中心、人才培育中心、科学知识传播中心。
供稿:北京信息科学与技术国家研究中心
编辑:李晨晖
审核:程曦
未经允许不得转载:大学门户 » 清华大学发布深度学习框架——计图(Jittor)
相关推荐
- 【主题教育】不驰于空想 不骛于虚声——清华大学教职工标兵党支部创建之路
- 【主题教育】清华大学召开各单位党委(总支)书记会 部署深入推进“不忘初心、牢记使命”主题教育工作
- 2018-2019学年度清华大学本科生先进班集体评选答辩会举行
- 微观数据开发应用国际研讨会在清华大学经济管理学院举行
- 种出中国自己的“苹果树”——岳光溪院士做客“真人图书馆”第46期
- 清华大学-丰田联合研究院第一届管委会会议召开
- 埃塞俄比亚前总理海尔马里亚姆·德萨莱尼访问公管学院
- 【微观清华】清华大学首个24小时书店来了!
- 清华举办2019年研究生社会实践与职业发展研讨会暨研究生社会实践基地负责人研修班
- 清华物理系张广铭教授课题组在量子拓扑相变理论方面取得重要进展
- 清华深圳国际研究生院弥胜利、孙伟课题组在角膜基质诱导再生领域取得重大进展
- 中美大学-中学教育圆桌论坛在全球创新学院举行
- 邱勇会见诺贝尔经济学奖获得者保罗·罗默教授
- 《马克思主义经典文献传播通考》出版座谈会在人民大会堂召开
- 清华大学“国际化能力提升计划”汇报交流会举行
- 化工系魏飞教授课题组发文报道可长循环的硅基负极材料
- “清华校友—张慕葏潘敏贞励学基金”设立
- 第一届清华大学学习与人类发展学术论坛暨清华大学—长水学习与人类发展研究院成立仪式举行
- 清华大学举行2019年毕业生出征仪式暨启航奖颁奖典礼
- 云智慧捐赠清华大学暨软件学院智能运维研究中心成立仪式举行
新闻公告
高考招生
- 清华大学2018年本科招生章程 08-05
- 清华大学2016年本科招生章程 08-05
- 清华大学2017年本科招生章程 08-05
- 清华大学留学预科班2014年招生简章 08-05
- 清华大学2015年本科招生章程 08-05
- 清华大学2013年本科招生章程 08-05
- 清华大学2014年本科招生章程 08-05
- 清华大学2011年招生章程 08-05
- 清华大学2012年本科招生章程 08-05
- 清华大学2009年招生章程 08-05