紫云| 盘锦| 台东| 静海| 洪江| 迁安| 新宁| 巴林右旗| 仁怀| 望城| 蕲春| 合水| 谢通门| 上饶市| 来宾| 歙县| 新野| 宁国| 昌邑| 白河| 竹山| 万荣| 托克逊| 阿克苏| 巴东| 华阴| 伊金霍洛旗| 蠡县| 漳县| 清河| 宝兴| 凭祥| 太和| 内蒙古| 灵山| 南和| 平山| 清河门| 娄烦| 长治市| 云溪| 察哈尔右翼前旗| 邱县| 峨边| 临潭| 忻州| 贵德| 鄯善| 新宾| 蓬溪| 内乡| 秦皇岛| 密山| 桓仁| 保德| 头屯河| 紫阳| 金寨| 古丈| 巴楚| 灵璧| 铜仁| 遵义县| 哈密| 昌江| 长乐| 广汉| 大邑| 大丰| 华山| 兖州| 上杭| 海安| 永城| 山丹| 合浦| 天山天池| 十堰| 乌什| 当涂| 茄子河| 封开| 弓长岭| 吴中| 浦江| 莫力达瓦| 伊宁县| 湖南| 北安| 杨凌| 乐业| 潢川| 永寿| 莘县| 阿城| 三门| 白河| 黄冈| 顺平| 庄河| 隆德| 屏山| 兴仁| 子洲| 项城| 常熟| 赣州| 克拉玛依| 泗阳| 连云区| 米泉| 勃利| 宜秀| 丹徒| 茂县| 阳谷| 林周| 石城| 玉树| 堆龙德庆| 新青| 新乐| 莘县| 邱县| 西林| 奎屯| 东台| 中宁| 宁武| 福清| 牡丹江| 呼玛| 安西| 洪雅| 双桥| 宜城| 建宁| 上海| 茄子河| 新干| 瑞昌| 苗栗| 临桂| 临县| 合阳| 宝兴| 嵩明| 惠阳| 赵县| 头屯河| 凤翔| 泸县| 宣化区| 会泽| 上高| 西安| 常德| 珠穆朗玛峰| 新安| 顺昌| 蠡县| 抚宁| 阳山| 临淄| 抚松| 宁国| 白朗| 绥中| 张家界| 乌拉特前旗| 延长| 苍溪| 吉林| 晋宁| 濮阳| 山海关| 峨眉山| 高淳| 丰城| 巴中| 云县| 龙胜| 凤县| 巫溪| 淮阳| 郓城| 连州| 武夷山| 精河| 兴平| 武当山| 金门| 滦县| 吴忠| 沙河| 腾冲| 略阳| 藤县| 久治| 长阳| 喜德| 通渭| 郏县| 大安| 科尔沁左翼中旗| 常山| 虎林| 牡丹江| 重庆| 思南| 弋阳| 修水| 应城| 佛坪| 阳原| 新乐| 铅山| 顺昌| 留坝| 周宁| 三都| 贺兰| 西和| 潢川| 桃江| 遵义市| 濠江| 苏尼特左旗| 绍兴市| 高台| 达尔罕茂明安联合旗| 会东| 林周| 泾源| 海安| 汤阴| 马龙| 清水| 大田| 五大连池| 澄迈| 宁都| 抚宁| 奇台| 磴口| 贡山| 乃东| 武昌| 玉山| 应城| 张家界| 惠农| 临漳| 苍南| 德昌| 正阳| 勐海| 凤翔| 松溪| 正镶白旗| 天水| 太仆寺旗| 策勒| 武胜| 百度

杰克逊:辽宁最后打得更好 绝对会打回五棵松

2019-06-18 06:59 来源:中青网

  杰克逊:辽宁最后打得更好 绝对会打回五棵松

  百度2015年屠哟哟获得世界诺贝尔生理医学奖,就再次将“中医药”推向了世界舞台。第三,口碑买家秀也是让我们冲动购物的罪魁祸首。

但贾立平却乐在其中,在他看来,盲拧带来的脑力提升是全方位的:注意力、记忆力和运算能力都有所加强。如需授权,点击。

  而这些也正是这些年来不少人致力于推动乡村振兴的内容。研究表明,睡眠由慢波相(又称非快速眼动睡眠)和异相睡眠(又称快速眼动睡眠)组成,异相睡眠状态下人们经常会有做梦的体验。

  做好以下5件事,是我对你的期待。国产电视剧在2015年表现不俗,其中《琅琊榜》、《伪装者》、《平凡的世界》、《嘿,老头》、《虎妈猫爸》最受观众赞誉,成为年度“金口碑电视剧”;而《无心法师》《执念师》等获评“金口碑网络剧”。

记得多发现对方的优点,并学会赞美。

  第四,适当地进行意念调节。

  不能停止,所有的宏观管理、社会管理都非常重要,中国需要另一个20年、30年,因为我们还有35%的人口从事农业,需要把他们转移过来,需要安置在其他部门,需要增加很多就业机会。  【同期】中国国际经济交流中心理事长曾培炎  展望未来五年中国面临的内外部环境比“十二五”我认为会更加复杂,任务会更加艰巨,挑战会更加严峻。

  整个三农问题的解决一定要把它和我们城市化的进程、工业化的进程同时列入一盘棋考虑。

  2015年屠哟哟获得世界诺贝尔生理医学奖,就再次将“中医药”推向了世界舞台。男女双方都会从中获益,性高潮会促进血液循环,同时性爱过程中释放的脱氢表雄酮会让人的皮肤看起来滑嫩而有光泽,整个人因此显示年轻漂亮。

  然而,华尔街和美国学术界所称的新常态是各项经济因素合力所致,有的衍生于金融危机,有的则由来已久。

  百度魔方改变人生,但人生不仅只有魔方正是这些改变,让贾立平的盲拧成绩一度达到中国第四。

  另外,可能会出现阳痿。晒太阳后要及时补充水分。

  百度 百度 百度

  杰克逊:辽宁最后打得更好 绝对会打回五棵松

 
责编:
全球人工智能与机器人峰会 CCF-GAIR 2019
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷锋网
人工智能 正文
发私信给程弢
发送

0

杰克逊:辽宁最后打得更好 绝对会打回五棵松

本文作者:程弢 2019-06-18 14:03
导语:从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。
百度 因为高血压是个“沉默杀手”,在出现大脑、心脏和肾脏损伤等并发症前,一般不会表现出什么症状。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

在谷歌发布TPU一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。

从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。

据雷锋网了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对CPU、GPU组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi称之为“下一个平台”。Jouppi曾是MIPS处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用CPU、GPU混合架构上来进行深度学习的训练。

Jouppi表示,谷歌的硬件工程团队在转向定制ASIC之前,早期还曾用FPGA来解决廉价、高效和高性能推理的问题。但他指出,FPGA的性能和每瓦性能相比ASIC都有很大的差距。他解释说,“TPU可以像CPU或GPU一样可编程,它可以在不同的网络(卷积神经网络,LSTM模型和大规模完全连接的模型)上执行CISC指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU兼具了CPU和ASIC的有点,它不仅是可编程的,而且比CPU、GPU和FPGA拥有更高的效率和更低的能耗。

TPU的内部架构

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

该图显示了TPU上的内部结构,除了外挂的DDR3内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的X86衍生架构。Jouppi说,尽管它有众多的矩阵乘法单元,但是它GPU更精于浮点单元的协处理。另外,需要注意的是,TPU没有任何存储的程序,它可以直接从主机发送指令。

TPU上的DRAM作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了64,000)。Jouppi并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

256×256阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU有两个内存单元,以及一个用于模型中参数的外部DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从“神经元”输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行64,000次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快TPU的性能和效率。例如,使用高带宽内存或混合3D内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU对比Haswell处理器

在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。

在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell芯片功耗为145瓦,其系统(拥有256 GB内存)满载时消耗455瓦特。

相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有384瓦。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

除此之外,谷歌还测试了CPU、GPU和TPU处理不同批量大小的每秒推断的吞吐量。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

如上图所示,在小批量任务中(16),Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后雷锋网需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是,谷歌已经逐渐在自己的数据中心部署TPU,但是上述测试数据只是理论结果,实际应用表现如何?我们还不得而知。

Via nextplatform,雷锋网(公众号:雷锋网)编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?
分享:
相关文章

文章点评:

表情

略懂技术的小编

关注一切有未来感的产品及技术!
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
百度