华为云推出一站式开发平台dataarts fabric

把数据和AI整合在一起,华为云这次给企业带来了个大动作,推出了一个一站式开发平台DataArts Fabric。这个平台能从数据处理一直管到模型上线,让数据工程师、科学家和开发人员都能用上自己顺手的工具,在一个工作台上合作得更顺畅。 别小看它的灵活性,能自动根据需求扩展资源。跟以前那种高峰期准备一大堆固定资源比起来,DataArts Fabric能帮客户省下高达50%的成本。它还是Serverless架构的,让数据和AI的各种任务、CPU和NPU这些硬件资源都能在同一个池子里跑,把开发和生产也混在一块用。 这样一来,资源利用率就提上去了,不需要单独管集群就能启动任务。有了高性能的存储系统,搭配华为云的大数据服务用起来特别省心。 里面有分布式SQL引擎,各层资源解耦得很彻底。你可以在几秒内查出TB级的数据,几分钟就能搞定PB级的量。 还支持分布式计算框架Ray,解决大任务需要分块处理的问题。Ray-Data、Ray-Train、Ray-Serve这三个模块分别能搞定数据预处理、训练和推理服务。 CPU和NPU资源也能统一管理调度,还有安全沙箱隔离这些。 跨引擎、多模态的缓存加速也挺给力,数据、模型还有CheckPoint都能缓存起来。 不管是用CPU还是NPU搞AI计算,也不用再让数据和AI团队互相等待了。你要是有数据需要处理也不用再往OBS里倒腾了。 用起来门槛很低,有业务才启动资源,秒级伸缩就行。硬件也能自动选最好的Flavor。 因为是多AZ、多Cell架构的设计,再加上安全隔离做得好,系统很可靠安全。 生态这块也不错,基于昇腾生态提供开源Ray的能力,还加上了Redis高可靠。Ray的仪表盘能看监控和调优情况。 SQL那边也支持ORC、Parquet、Iceberg这些格式。 有了这个平台覆盖各种场景都没问题:数据工程能并行处理海量数据;分布式机器学习能高效训练大模型;实时湖仓只要写SQL就能分析数据。 这一切都是为了让企业用低成本搞定业务需求。