當前,人工智能大模型的發展離不開算力的支撐。但由于用算成本高、供需對接不暢等問題,企業的技術落地面臨一定瓶頸。
為解決這一問題,4月3日,廣州正式發布全國首個基于詞元(Token)級調度的城市綜合算力運行服務平臺——廣州市一體化算力網監測調度平臺。該平臺旨在搭建全市算力資源與應用需求之間的橋梁,優化算力資源配置。通過這一平臺,算力將從“奢侈品”變成“日用品”,供需雙方的對接將更便利,算力價格也更透明。

廣州市政務和數據管理局基礎設施處處長陳耿介紹,以一家在廣州落地的新興無人機企業為例,該企業如需在廣州本地尋找算力資源進行無人機數據的處理和分析,企業負責人就可以在上述平臺發布需求信息,據此匹配至就近的、具有相應算力能力的供算單位。
在這一模式下,企業不僅尋找算力更便捷,用算成本也將大幅降低。陳耿介紹,平臺以詞元(Token)為統一計量基準,代替過去以機器數量或租用時間計量的粗略化管理,讓算力的使用更精細、更高效。“對企業來講,算力可以真正按需購買,大幅降低生產成本;在全市層面,算力可以像水和電一樣,進行流動調配和錯峰應用,且透明可溯源。”
深圳云天勵飛技術股份有限公司高級總監陳漱玉表示,作為算力使用方,公司的大模型研發正從數據訓練轉向推理應用,詞元成本是研發落地的關鍵。因為“每問一個問題都要燒錢”,所以詞元成本決定了應用能否真正普及。如果算力調用成本大幅降低,中小企業、初創公司可以更大膽嘗試,人工智能將真正走進千家萬戶。
據悉,該平臺未來納管算力將達7萬P,成為集算力交易、供需撮合與政府監管于一體的算力資產流通樞紐。
與此配套的,廣州移動、廣州聯通、云下科技、連云大數據4個獲批算力項目在平臺上線同日集體開工建設,總投資額48.39億元,建成后將新增智算規模4萬P,實現廣州單體萬卡萬P智算中心建設零的突破。
啟建儀式上,廣州市政務和數據局黃津局長強調,平臺將為企業提供便捷高效的“一站式”算力服務,切實破解企業用算難、用算貴等問題,讓企業輕裝上陣搞研發、拓市場。
掃一掃,分享到微信朋友圈