Alluxio正式发布数据编排平台2.7版本 可将机器学习训练I/O效率提高5倍

时间:2021-11-18 09:48:43 来源: 中关村在线


北京时间11月17日消息,开源数据编排软件开发商Alluxio宣布正式发布数据编排台2.7版本,新版本立即可用。2.7版本通过并行数据加载、数据预处理和训练工作流,可将机器学(ML)训练的I/O效率提高5倍,从而显著降低成本。新版本还提供了更强的能分析,并能更好地支持ApacheHudi和Iceberg等开放表格格式,使得对数据湖的访问更易于扩展,从而实现了Presto和Spark的分析提速。

“Alluxio 2.7版本进一步巩固了Alluxio在云上人工智能(AI)、机器学和深度学方面的重要地位,”Alluxio创始人兼首席执行官李浩源表示。“随着数据集的增长以及CPU和GPU计算能力的增强,机器学和深度学已成为AI主流技术。这些技术的兴起推动了AI的发展,但也凸显了数据和存储系统访问中存在的一些挑战。”

“我们在1000个节点的集群中部署了Alluxio,用来加速我们游戏AI台上模型训练的数据预处理。事实证明Alluxio稳定、可扩展且易于管理。”腾讯大数据台研发负责人陈鹏表示。“随着越来越多的大数据和AI应用容器化,Alluxio正在成为大型企业和机构的首选,作为加速数据分析和模型训练的中间层。”

“拥有大规模分析和AI/ML计算框架的数据团队面临着越来越大的压力,需要让日益增长的数据源更易于访问,同时确保能的稳定,这需要同时考虑数据本地、网络I/O和成本问题,”ESG分析师 Mike Leone表示。“企业和机构希望选用更实惠和可扩展的存储,如云对象存储,同时避免昂贵的应用程序修改或处理新的能问题。Alluxio通过抽象存储细节并使数据更接计算侧来应对这些挑战,尤其是在混合云和多云环境中。”


精彩推送

关于我们 加入我们 广告服务 网站地图

All Rights Reserved, Copyright 2004-2020 www.ctocio.com.cn

如有意见请与我们联系 邮箱:29 59 11 57 [email protected]

 IT专家网 版权所有