11月3日,2022云棲大會上,阿里巴巴集團副總裁、阿里云計算平臺事業部負責人賈揚清表示,為滿足用戶多元化數據計算需求,阿里云ODPS升級為一體化大數據平臺。
升級后的ODPS支持大規模批量計算、實時分析等服務,提供實時流式計算、機器學習等多種計算能力,可同時調度超10萬臺以上服務器規模進行并行計算。ODPS也是目前中國唯一自研、應用最為廣泛的一體化大數據平臺。
ODPS升級:存儲、調度、元數據一體化融合
隨著數據技術和數據應用的發展,催生了多元計算需求。賈揚清介紹,例如交通領域,需要實時數據計算,來做城市大腦里面人流車流的優化;科研方面,需要AI算法輔助傳統物理化學生物研究創新;保險領域,需要大量數據聚合來進行更準確的風險精算。 ODPS實現了存儲、調度、元數據管理上的一體化架構融合,支撐上述各類數據的高效處理。
自2009年誕生以來,ODPS從突破單集群規模到通過多租戶隔離打造金融級云上安全,為突破業界難攻的技術難點而不斷升級架構。2017年,ODPS將大規模批處理引擎MaxCompute以獨立產品形式對外提供服務。2019年,應對數據實時交互分析的需求,交互式計算引擎Hologres正式上線。
在剛剛公布的TPC-H 30000GB基準測試中,ODPS-Hologres刷新世界紀錄,分數超過2786萬分,領先第二名23%。ODPS-MaxCompute則在TPCx-BB 100TB標準測試中,連續6年保持性能和性價比第一。
大數據和AI走向融合 小鵬汽車AI訓練提速170倍
“大數據平臺和AI平臺正在走向融合”,賈揚清表示,不論是大模型生產應用、AI for Science、還是傳統的搜推廣服務,典型的AI應用場景背后,都離不開數據的高效流轉和分析。
例如小鵬汽車與阿里云合作,建設了大數據AI一體化平臺,實現從海量路采數據的傳輸存儲分析、到AI模型訓練推理的全流程提效。此外,基于軟硬件協同優化技術,小鵬汽車自動駕駛核心模型訓練提速近170倍,訓練性能較開源方案提升30%。
自發布大數據+AI一體化產品體系“阿里靈杰”以來,阿里云不斷推動數據智能在產業中廣泛應用。機器學習平臺PAI持續夯實AI工程能力,實現深度學習框架和計算硬件的多樣化兼容,以彈性且穩定的云原生AI平臺服務,支撐自動駕駛、生命科學、金融等領域創新。此外,達摩院基于阿里靈杰,推出模型開放生態 ModelScope 和 AI 開放服務平臺 OpenMind,進一步推動AI普惠。