CSRankings年度更新，清华北大包揽AI领域前两名，CMU第三
全球院校计算机科学领域实力排名开源项目CSRankings，更新了-年的最新数据。最新排名显示：
AI（含5项细分领域）排名中，清华大学排名第一，北京大学排名第二，CMU排名第三。
CSRankings（ComputerScienceRankings）：是由马萨诸塞大学安姆斯特分校（UniversityofMassachusettsAmherst）信息与计算机科学学院教授EmeryBerger发布的基于研究指标（全球各机构的学者在各顶级学术会议上发表的论文）的全球顶尖计算机科学机构排名。它具体细分为4个大类（共26个小项）：AI人工智能、Systems系统、Theory理论和InterdisciplinaryAreas跨学科领域。
其中在AI板块，主要有5个细分领域：
人工智能（Artificialintelligence）
计算机视觉（Computervision）
机器学习与数据采集（Machinelearningdatamining）
自然语言处理（Naturallanguageprocessing）
网页信息检索（TheWebinformationretrieval）
在全球领域AI综合排行榜中，如下表入选的中国高校有：清华大学第1名（蝉联），北京大学第2名，中国科学院第4名，上海交通大学第8名，香港中文大学第13名，浙江大学第16名，南京大学第18名。
而AI中的「Artificialintelligence」一项，排前10名的分别是：北京大学、中国科学院、清华大学、上海交通大学、南京大学、浙江大学、新加坡南洋理工大学、新加坡国立大学、CMU、新南威尔士大学。
微软等提出「ZeRO-Offload」技术，可在单个GPU上训练亿参数的深度学习模型
前不久，谷歌发布了参数量为1.6万亿的语言模型SwithTransformer，将GPT-3创下的参数量记录（亿）推至新高。这些大模型的出现让普通研究者越发绝望：没有「钞能力」、没有一大堆GPU就做不了AI研究了吗？
在此背景下，部分研究者开始思考：如何让这些大模型的训练变得更加接地气？也就是说，怎么用更少的卡训练更大的模型？
为了解决这个问题，来自微软、加州大学默塞德分校的研究者提出了一种名为「ZeRO-Offload」的异构深度学习训练技术，可以在单个GPU上训练拥有亿参数的深度学习模型，让普通研究者也能着手大模型的训练。与Pytorch等流行框架相比，ZeRO-Offload将可训练的模型规模提升了10倍，而且不需要数据科学家对模型做出任何改变，也不会牺牲计算效率。
ZeRO-Offload通过将数据和计算卸载（offload）至CPU来实现大规模模型训练。为了不降低计算效率，它被设计为最小化与GPU之间的数据往来，并在尽可能节省GPU内存的同时降低CPU的计算时间。因此，对于一个参数量为亿的模型，ZeRO-Offload可以在单个NVIDIAVGPU上实现40TFlops/GPU。相比之下，使用PyTorch训练一个参数量为14亿的模型仅能达到30TFlops，这是在不耗尽内存的情况下所能训练的最大模型。ZeRO-Offload还可以扩展至多GPU设置并实现线性加速，最多可在个GPU上实现近似线性加速。
此外，ZeRO-Offload还可以和模型并行一起使用，在一个DGX-2boxAI服务器上训练参数量超亿的模型。与单独使用模型并行相比，这一参数量实现了4.5倍的规模提升。
论文
转载请注明：http://www.baozhijianjiedw.com/bzyx/12484.html
