亚马逊云科技:创新赋能海量数据,用AI促进行业发展
近日,亚马逊云科技在2022 re:Invent全球大会上发布了一系列涵盖底层基础架构、计算、数据库、数据分析、AI/ML、安全、行业应用等新的服务及功能,通过不断创新帮助全球客户重塑未来。亚马逊云科技持续加速底层技术创新,推出了三种新的自研芯片——第五代虚拟化芯片Amazon Nitro5、Amazon Graviton3E处理器、Amazon Inferentia2机器学习加速推理芯片,以及由新的自研芯片支持的三种实例,为客户广泛的工作负载提供更高性价比。
亚马逊云科技大中华区产品部总经理陈晓建
亚马逊云科技大中华区产品部总经理陈晓建表示:“亚马逊云科技在每年的re:Invent全球大会上,都会发布许多重磅的新服务、功能和应用,来支持遍及全球各地、来自千行百业的客户进行不断的创新和重塑。面临全球经济的不确定性,各种规模的客户都希望能进一步消减成本、增强业务的灵活性并加速创新。我们希望能通过技术的不断创新,让全球包括中国的客户能凌云驭势、重塑未来。”
亚马逊云科技云原生战略,应对海量数据挑战
人类曾探索过各种各样的环境,有些浩瀚无垠(Vast),有些深不可测(Unfathomable),有些充满了极端挑战(Extreme),有些则拥有无限可能(Possibilities)。当使用正确的工具时,人类就可以战胜各种环境的挑战,不断发现新的可能性。
陈晓建表示:“仅凭肉眼我们无法探索星空,于是人类不断创新探索太空的方法,发射了火箭、卫星和空间站。今天我们面临着像星空一样广袤的数据挑战,数据是应用程序、流程和业务决策的中心,几乎是每个组织数字化转型的基石。但处理数据并不容易,亚马逊云科技认为需要构建云原生的数据战略。”
今天,亚马逊云科技通过提供端到端的全面数据解决方案,帮助客户打造从数据的摄入,数据存储与查询,到数据分析,商业智能,再到人工智能与机器学习创新,并通过安全合规的方式进行集团内或公司之间的共享和输出。在陈晓建看来,构建端到端数据战略的三个核心就是建立面向未来的云原生数据基础设施;实现高效、跨组织的数据一体化融合以及借助教育和工具,使数据普惠化。
我们知道,亚马逊云科技一直在数据存储和分析、机器学习等方面创新, 并应用到实践中,如:通过数据分析为用户进行书籍推荐;在云计算领域推出云原生数仓Amazon Redshift和首个云原生的数据库服务Amazon DynamoDB。
针对ETL(数据的提取、转换和加载过程),亚马逊云科技在本次大会上发布了两项全新的集成功能,帮助客户实现“Zero-ETL”(零ETL)。业务数据往往需要通过ETL才能进行分析从而提供洞察,但这一过程往往耗时且枯燥。现在,客户可以使用Amazon Redshift近乎实时地分析Amazon Aurora中的数据,无需在不同服务之间进行ETL。客户还可以使用亚马逊云科技的分析和机器学习服务在Amazon Redshift的数据上轻松运行 Apache Spark应用程序。
亚马逊云科技还新推出五项数据库和分析服务全新功能,让客户能够更快、更轻松地管理和分析PB级数据。Amazon DocumentDB Elastic Clusters可将客户的文档工作负载扩展到支持每秒数百万次请求,并支持PB级数据存储;Amazon OpenSearch推出了Serverless无服务器功能,可帮助客户在无需配置、扩展或管理底层基础设施的情况下运行搜索和分析工作负载,这一更新也标志着亚马逊云科技数据分析服务的全面无服务器化;Amazon Athena for Apache Spark能让客户开始使用Apache Spark进行交互式分析的时间从数分钟缩短到一秒以内;Amazon Glue Data Quality可以跨数据湖和数据管道自动管理数据质量; Amazon Redshift现在支持跨多个亚马逊云科技可用区(AZ)的高可用配置。
此外,亚马逊云科技在本次大会上推出了机器学习服务Amazon SageMaker的八项新功能以及Amazon QuickSight的五项全新功能。其中,新的 Amazon SageMaker 治理功能可以在整个机器学习生命周期中提供对模型性能的可见性;新的 Amazon SageMaker Studio Notebook 功能提供了增强的Notebook体验,让客户只需点击几下即可检查和解决数据质量问题,促进数据科学团队之间的实时协作,通过将Notebook代码转变到自动化作业,加速机器学习实验到生产的过程;其他一些新功能可自动执行模型验证,并且让地理空间数据处理变得更容易。Amazon QuickSight 新功能可以支持业务人员直接用自然语言提问各类预测问题,并能够给出预测依据,大大降低了企业从数据中获取业务洞察的门槛。
陈晓建表示:“从大量复杂的数据中获得洞察,充满信心探索未知的领域,有足够的安全感承受外部的压力,在最极端的条件下应对挑战,以及拥有无限可能的想象力。这就是云真正的力量。”
亚马逊云科技发布三款自研芯片,加速底层技术创新
人类探索南极的故事说明,当你面对极端环境时,“足够好”往往意味着“还不够好”,当面临极端挑战时,必须选择那些专门定制、功能足够强大的工具和解决方案。对亚马逊云科技的数百万客户来说也是如此。极端的挑战意味着对性能的极致要求;意味着在充满不确定性的时代,快速、敏捷的进行现代化应用开发,提高业务的敏捷性;意味着每个企业都需要积极掌握最新科技,探索未知的未来。
在过去10年中,亚马逊云科技支持持续创新,形成了三条自研芯片的产品线:四代虚拟化定制芯片 Nitro;三代基于ARM 架构的通用处理器芯片Graviton;两款用于机器学习的训练和推理的芯片。
Nitro 虚拟化系统采用了专业定制芯片、独立的模块化设计。它包含:一个非常轻量级的Hypervisor,性能损耗非常小通常不到1%;硬件级别的安全机制,实现了网络,存储隔离的独立安全通道;同时在数据传输的所有环节都可以实现硬件级别加密,对用户数据进行保护;
Nitro的最大创新点是Nitro将架构演进与技术复杂性进行了解耦。类似于云原生架构的思想,服务原子化,封装功能到模块内部,接口标准化,从而大大降低了系统的复杂性,并且提升了系统的可扩展性。因为Nitro的出现,所有的虚拟化功能全部交给Nitro来实现,Nitro来负责卸载网络和存储的功能。因为Nitro承担了很多底层的工作,使得发布新实例所需要做的工作反而变得简单了,2017年后,EC2实例的推出速度反而加快了。至今,Amazon Nitro系统仍是业界领先的云服务器虚拟化引擎。
新发布的Graviton3E 处理器是 Graviton 3 家族的最新成员,专门为浮点和向量指令运算而优化,这在高性能计算工作负载里非常重要;相比于 Graviton3 实例,Graviton3E 在 HPL(线性代数的测量工具)上性能提升35%,在 GROMACS(分子运动)上性能提升 12%,在金融期权定价的工作负载上性能提升 30% 。
值得一提的是,配备了新一代 Nitro V5 和 Graviton 3E 的Amazon EC2 C7gn 实例,在 EC2 网络优化型实例中具有最高的网络带宽和数据包处理性能,而且功耗更低;与当前一代网络优化型实例相比,提供高达 200Gbps 的网络带宽和提高 50% 的数据包处理性能。C7gn实例适用于网络密集型工作负载,如网络虚拟化设备(包括防火墙、虚拟路由器和负载均衡器等)和数据加密业务等。
为了方便用户采用Graviton实例,目前亚马逊云科技已经将 20 多种托管服务运行在了Graviton之上,且仍在持续增加。这里包括用户经常使用到的Amazon RDS,Amazon Aurora,Amazon ElastiCache,MemoryDB,Amazon OpenSearch,Amazon EMR,Amazon EKS和Amazon Lambda 等多种服务。托管服务大幅降低了客户将应用迁移到 Graviton的 复杂度。甚至可以从几天降低到几分钟。客户只需将工作负载转移到Graviton实例即可实现高达40%的性价比。
可以说,亚马逊云科技快速推进三条自研芯片的研发,实现 Amazon EC2可持续的安全创新,同时也是云原生应用的先行者,更是云原生的真正践行者,不断推出容器、Serverless、CI/CD等服务加速客户的现代化应用改造,并且在更加复杂的空间仿真领域推出新服务帮助客户速赢。
针对企业的行业应用,亚马逊云科技在2022 re:Invent全球大会推出了多项新的服务。陈晓建表示:“想象力带给人类无限的可能性,我们应该怎么去探索呢?第一种就是把不同的元素结合在一起,创造出全新的东西,就像托尔金写《魔戒》,第二种就是协作,通过来自不同组织的协作产生创新,第三种就是保持一颗彼得潘般的童心,利用我们已知的东西,然后有选择地进行加工,突破固有观念的限制。在这些启发之下我们带来了开箱即用的行业应用,如Amazon Clean Rooms、Amazon Omics、Amazon ConNECt和Amazon Supply Chain。”
未来,亚马逊云科技将致力于为客户不断提供开箱即用的应用程序以解决业务挑战,并且将AI/ML的能力植入到行业方案中,帮助客户利用云的规模化和敏捷性,让客户更加有信心应对未来挑战。