亚马逊发布基于Arm架构的Graviton2服务器芯片,性能提升7倍

  • 时间:
  • 浏览:1
  • 来源:1.5分赛车平台-10分赛车投注平台_1分6合娱乐平台

12月4日消息,亚马逊今日在AWS re:invent大会上发布了基于Arm架构的Graviton2服务器芯片,同时宣布了Inferentia芯片的最新进展。AWS表示,Graviton2相较x86累似 产品计算量提升4倍,性价比提升最高达40%。基于Inferentia芯片的Inf1实例相比Nvidia G4实例,吞吐量提高3倍,且成本降低40%。Graviton2将会针对AWS云的原生应用进行了优化,可是我每个核心的浮点性能有2倍提升。Inferentia是用于AI推理的高性能芯片,于去年推出。AWS CEO Andy Jassy今天在会上表示,目前AWS将会储备了人才力量,将在自研芯片领域持续发力,为用户提供更多高性价比产品。

一、Inf1吞吐量超英伟达G4 3倍

▲AWS首席执行官Andy Jassy于2019年12月3日在拉斯维加斯的re:Invent大会上,图片来源:Techcrunch

亚马逊AWS今天推出了Inf1实例,该实例由Inferentia芯片提供支持,是另有另一两个在云中为AI推理提供支持的实例,AWS CEO Andy Jassy称之为云中可用的成本最低的推理产品。

Andy Jassy表示,“与Nvidia G4实例相比,Inf1具有更低的延迟,吞吐量将提高3倍,可是我每个实例的成本降低40%。”“使用云服务为AI除理方案提供动力的运营成本绝大多数来自推理,而推理芯片将会会很昂贵,可是我要求低延迟和高吞吐量。”

Inf1还将由Annapurna Labs制造的Inferentia芯片提供支持,该芯片企业是2015年被以色列AWS收购的。Inferentia芯片拥有4的个NeuronCore,能助 提供128TOPS的算力,而每个Inf1实例能助 提供1150 TOPS的算力。

▲Inferentia芯片删剪参数,图片来源:AWS

Inf1实例目前将会上市,并将与PyTorch,MXNet和TensorFlow集成。2020年,Inf1将能助 用于EKS实例和Amazon的SageMaker,来进行机器学习的推理运算。

▲Inf1实例五种生活规格,图片来源:AWS

二、Graviton2成为英特尔AMD劲敌

亚马逊今日还推出了基于Arm架构的Graviton2服务器芯片,与基于x86的累似 实例相比,该除理器的性价比最高提升可达40%,计算量提升4倍。基于Arm架构的Graviton2将会会对云工作负载、AWS的成本特征以及数据中心Arm架构的应用产生重大影响。

▲M6g、R6g、C6g实例部分数据

AWS加大了对Graviton2的投注,它们对Arm架构的数据中心除理器研发和稳步推进云基础架构创新都非常重视。AWS正在启动新的基于Arm的Amazon EC2实例,包括M6g、R6g、C6g系列。

Graviton2针对云原生应用进行了优化,可是我基于64位Arm Neoverse内核和AWS的片上定制系统设计。Graviton2的每核浮点性能提高了2倍,可用于科学和高性能工作负载领域,最多支持6另有另一两个虚拟CPU,25Gbps网络和18Gbps EBS波特率。

AWS CEO Andy Jassy在主题演讲中说:“亲们决定设计芯片来为您提供更多功能。尽管某些公司使用x86已有很长时间,但亲们希望为您提高性价比。”不过他补充说,英特尔和AMD仍然是AWS的主要相互相互合作伙伴。

首先看inferentia。据了解,该芯片于去年首次宣布。据了解,AWS Inferentia 是另有另一两个由 AWS 定制设计的机器学习推理芯片,旨在以极低成本交付高吞吐量、低延迟推理性能。AWS Inferentia 将支持 TensorFlow、Apache MXNet 和 PyTorch 层厚学习框架以及使用 ONNX 格式的模型。亚马逊进一步指出,AWS Inferentia 提供数百 TOPS(每秒万亿次运算)推理吞吐量,以允许繁复模型能助 进行快速预测。对于更繁复的性能需求,能助 组合使用多个 AWS Inferentia 芯片来支持数千 TOPS 的吞吐量。

从数据上看,AWS Inferentia每个芯片集成了4的neuroncore,每秒可提供128 Tera操作(每秒TOPS或数万亿次操作),支持FP16、BF16、INT8等数据类型,能支持多个框架(包括TensorFlow,PyTorch和Apache MXNet),每个Amazon EC2 Inf1实例最多可提供1150 TOPS。

正如AWS首席执行官安迪·贾西(Andy Jassy)指出的那样,某些公司不是关注可让您训练模型的定制芯片(尽管Google和某些公司肯定会对此表示反对)。他进一步指出,推理通常能助 在常规CPU上很好地工作,可是我定制芯片显然会变快。

“与EC4上的常规Nvidia G4实例相比,借助Inferentia,AWS可提供更低的延迟和三倍的吞吐量,且每次推理成本降低40%”,Andy Jassy强调。

从亚马逊的介绍亲们能助 看了,新的Inf1实例可实现多达2,000 TOPS的功能,并与TensorFlow,PyTorch和MXNet集成,以及用于在框架之间移动模型的ONNX格式。但目前,这颗芯片仅在EC2计算服务中可用,但变快也会用于AWS的容器服务及其SageMaker机器学习服务。

除此之外,亚马逊还带来了新一代的,拥有强悍性能表现的Arm服务器芯片Graviton2。据亚马逊介绍,AWS Graviton 2除理器的波特率比可是我一代的芯片快7倍,浮点性能是2倍。AWS进一步表示,Graviton2芯片的单核高速缓存是其两倍大,并具有额外的存储通道(根据定义,它几乎非要那末),可是我有有哪些功能同时使Graviton2的存储波特率比原始Graviton快5倍。

资料显示,Graviton2是另有另一两个基于Arm全新内核Neoverse 定制设计的7nm SOC,具有6另有另一两个Arm Neoverse N1内核(每个64KB L1 / 1MB L2高速缓存),支持双SIMD,并支持int8和fp16除理的特殊指令。

最为另有另一两个用用150亿晶体管的野兽,Graviton2的大小与AMD的EPYC累似 ,比某些任何数据中心除理器不是大。N1内核通过网状架构连接,具有最少2TB /秒的波特率,32MB L3高速缓存和64通道PCIe gen 4通道。Graviton2服务器通过暗含临时密钥的AES-256支持8个DDR4-3150通道的始终加密的内存以及高达1Tbit / sec的压缩内存加速。这几乎是另有另一两个“核心”,具有某些非常特殊的功能,累似 用于ML推理的本地fp16和始终加密的内存。给我留下深刻的印象。

针对变快的机器学习推理提供了优化的指令,以及针对压缩工作负载的自定义硬件加速。另外,AWS Graviton2除理器还提供始终在线的删剪加密的DDR4内存,每核加密性能提高150%,以进一步增强安全性。

据透露,与第一代Graviton相比,AWS称Graviton2的性能是前代的7倍,计算核心是4倍,而内存则是5倍”。它还提供25Gbps网络和18Gbps EBS波特率。在和竞争对手相比,AWS Graviton2的实例能助 提供不错的性能表现。

以下是AWS提供的,M6g在数据中心实例中,实测数据与M5对比,有了很好的提升:

整数性能比SPECint2017波特率高40%以上(估计)

SPECfp2017波特率的浮点性能提高了20%以上(估计)

SPECjvm1508上的Java性能提高了40%以上(估计)

NGINX上的Web服务性能提高20%以上

在Memcached上的性能提高40%以上,并具有更低的延迟和更高的吞吐量

对于未压缩的10150p到H.264视频,媒体编码性能提高20%以上

BERT ML推理提高25%

Cadence Xcellium EDA工具的EDA性能提高150%以上

另外,据亚马逊AWS介绍,客户能助 在某些芯片的系统上运行以下任务管理器:

操作系统/环境:Amazon Linux 2; Ubuntu 16.04 / 18.04 / 18.10; RHEL 7.6 / 8.0;适用于Arm 15的SUSE Linux Enterprise Server;Fedora Rawhide /原子;Debian 9.8; Docker桌面社区和Docker企业引擎(测试版),“更多即将推出”

容器:Amazon ECS和Amazon EKS(在预览中),AWS 表示 “在Docker Hub中托管的大多数Docker官方映像(截至今天,已超过70%)将会支持64位Arm系统以及x86。”

工具:AWS Marketplace,Systems Manager,CloudWatch,CodeBuild,CodeCommit,Cloud9,CodePipeline,Inspector,批除理,CDK,CodeDeploy,CodeStar,CLI,X-Ray和Amazon Corretto(OpenJDK发行版)。

AWS服务:Amazon ElastiCache,EMR,弹性负载平衡

亚马逊的芯片业务主要基于亲们在2015年收购的以色列芯片设计公司Annapurna Labs。据悉,亚马逊收购Annapurna Labs的价格约为3.5亿美元。该公司主要研发微除理器,某些微除理器能助 让低功率的的计算服务器和存储服务器快速地运行数据。Annapurna Labs是过去10年中以色列国内成长起来的优秀初创型芯片厂商之一。

Jassy在re:Invent的开幕主题演讲中也表示:“在AWS的历史上,对亲们来说,另有另一两个重大的转折点是亲们收购了Annapurna Labs,这是一群由以色列非常有才华和专业的芯片设计师和制造商组成的团队,亲们决定实际上将设计和制造芯片以尝试为您提供更多功能,”

将会数据中心是另有另一两个拥有超过90%以上的市场,为此亚马逊进入某些市场,被看作是与Intel的直接竞争。但亚马逊的贾西(Jassy)表示,英特尔是“非常紧密的相互相互合作伙伴,但为了更高的性价比,亲们非要被委托人进行某些创新。而据介绍,某些价格/性能比会较之X86系统高于40%。

结语:亚马逊服务器芯片重点发力,自研已成主攻方向

通过目前亚马逊发布的Inf1实例和Graviton2芯片,以及AWS CEO的发言亲们那末看出,打造高性价比的自研芯片是亚马逊目前和今后的主要发展策略,而Arm架构在服务器领域的声量也将那末大。

不过Andy Jassy也提到,英特尔、AMD后续将继续作为AWS的主要相互相互合作伙伴。在AI芯片和服务器芯片两大战场,格局似乎变得不再单一,英特尔、AMD、亚马逊等巨头后续会展开如可的竞争与相互相互合作,亲们拭目以待

文章来源: 智东西

免责声明:本文由入驻贤集网资讯专栏的作者撰写将会网上转载,观点仅代表作者被委托人,不代表贤集网立场。如有侵权将会某些问題,请联系举报。

本网转载并注明自其它来源的作品,目的在于传递更多信息,何必 代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。某些媒体、网站或被委托人从本网转载时,非要保留本网注明的作品来源,并自负版权等法律责任。

如涉及作品内容、版权等问題,请在作品发表之日起一周内与本网联系,可是我视为放弃相关权利。