Cloudian助力數據儲存應對人工智能革命
由麻省理工學院(MIT)校友共同創立的Cloudian公司,正協助企業應付對數據需求激增的人工智能(AI)模型和代理人,實現大規模數據處理。
人工智能正在徹底改變企業儲存和訪問數據的方式。傳統數據儲存系統設計上只需處理少量用戶的簡單指令,但現今的AI系統擁有數以百萬計的代理人,需同時連續存取並處理龐大數據量。傳統儲存系統層層堆疊,令數據需經多重層級才能送達AI的核心處理單元——圖形處理器(GPU),這大大拖慢了AI運算速度。
Cloudian由MIT校友Michael Tso ’93、SM ’93和Hiroshi Ohta共同創立,致力打造一套可擴展的企業級儲存系統,實現數據與AI模型之間的高速無縫流動。該系統通過並行運算技術簡化了儲存架構,將AI功能和數據集中於單一並行處理平台,能同時存取、檢索及處理大量數據,並實現儲存設備與GPU及中央處理器(CPU)間的高速直連傳輸。
Cloudian的整合儲存計算平台,令企業能更輕鬆構建商業級AI工具,為數據儲存奠定可應對AI發展的基礎。
Tso表示:「大家往往忽略了AI的核心是數據。想提升AI性能10%,光靠增加10%甚至10倍數據都不夠,實際需要增長1000倍數據。能以易於管理的方式儲存這些龐大數據,並同時將計算功能嵌入其中,讓數據流入時就可直接運算而毋須搬移數據,這才是行業的未來趨勢。」
從MIT校園到產業前線
90年代,Tso在MIT本科期間,在教授William Dally指導下接觸並行計算技術——多個計算任務同時進行的運算方式。Tso亦與助理教授Greg Papadopoulos合作研究並行計算。
他回憶:「當時是個難得的黃金時代,因為大部分學校只有一個超級計算項目,但MIT有四個。」
研究生時期,Tso與MIT資深研究員David Clark合作,後者是互聯網早期架構的先驅,特別是在數據傳輸控制協議(TCP)方面有深厚貢獻。
「研究生時代我研究大型分布式系統中的斷線及間歇性網絡運作,30年後我依然在做類似的工作,真是有趣。」Tso說。
畢業後,Tso先後在Intel架構實驗室及多間創新公司任職,期間發明多項數據同步算法及手機鈴聲下載規範,推動行業發展。2001年,他與同學創立Gemini Mobile Technologies,打造全球最大型的手機訊息系統,以應對攝影手機帶來的巨大數據增長。
隨著雲端運算在2000年代末興起,企業開始租用虛擬服務器擴展業務。Tso發現數據增長速度遠超網絡速度,決定轉型。
他指出:「數據產生地點多樣,且數據本身有‘重力’,移動數據會花費時間和成本。未來的趨勢是分布式雲端覆蓋邊緣設備和服務器,必須把雲端帶到數據所在地,而不是把數據搬到雲端。」
2012年,Tso從Gemini Mobile Technologies正式剝離並成立Cloudian,專注提供可擴展、分布式且與雲端兼容的數據儲存解決方案。
「剛開始創業時,我們沒有預料到AI會成為邊緣數據的最終應用。」Tso坦言。
Tso認為,他在MIT的研究與今天的產業發展有密不可分的關係。
「這就像我的整個人生在重演,因為我和David Clark當年研究的斷線及間歇連接網絡,正是現今邊緣運算的核心;而Dally教授則致力於高速可擴展的互聯技術,他現在是頂尖AI企業NVIDIA的高級副總裁兼首席科學家。現代NVIDIA芯片架構和晶片間通訊技術都深受他的影響。我與Papadopoulos教授合作開發的並行計算軟硬件加速技術,也正是我們現在與NVIDIA合作解決的問題。巧合的是,我在MIT的研究如今都一一成真。」
面向AI的先進儲存架構
Cloudian現時的平台採用物件儲存架構,將各類數據(文件、視頻、感測器資料)作為帶元數據的獨立物件存儲。物件儲存能以扁平文件結構管理海量數據,特別適合非結構化數據和AI系統,但傳統方法需先將數據複製到計算機內存,才供AI模型使用,導致延遲和能源瓶頸。
今年7月,Cloudian宣佈將物件儲存系統擴展至向量數據庫,能以AI模型即時可用的向量形式存儲數據。數據被接收時,Cloudian即時計算其向量形式,支援推薦引擎、搜索和AI助手等工具。Cloudian亦與NVIDIA合作,使其儲存系統能直接與NVIDIA GPU協同運作,進一步加快AI運算速度並降低成本。
Tso表示:「NVIDIA約一年半前主動聯絡我們,因為GPU只有在持續獲得數據供應時才有價值。現在大家開始明白,將AI移至數據所在位置,比搬移龐大數據集更有效。我們的儲存系統內建大量AI功能,能在數據收集和存儲地點附近完成AI的前後處理。」
AI優先的儲存解決方案
Cloudian現時服務約1000家全球企業,包括大型製造商、金融機構、醫療機構及政府部門。
舉例來說,一家大型汽車製造商利用Cloudian儲存平台,透過AI判斷何時維修生產機械人。Cloudian亦與美國國家醫學圖書館合作,存儲研究文章和專利,並協助國家癌症資料庫保存腫瘤DNA序列,這些豐富數據可供AI模型分析,推動新療法研發和洞察。
Tso強調:「GPU是不可思議的推動力。摩爾定律大約每兩年計算能力翻倍,但GPU能在晶片上並行運算,並組網讓多個GPU協同工作,突破摩爾定律。這種規模推動AI邁向新高度,但要讓GPU充分運作,必須以相同速度供應數據,唯一辦法就是消除GPU與數據間的所有中間層。」
—
評論與啟示
Cloudian的創新正是AI時代對數據基礎設施的必然回應。當前AI模型的數據需求爆炸式增長,傳統儲存架構已難以承載這種龐大且高速的運算負載。Cloudian透過整合儲存與計算、擴展物件存儲並引入向量數據庫,實現了數據的即時處理和高速直連,這對提升AI系統效率及降低能耗尤為關鍵。
這種「將AI帶到數據」的策略,反映了邊緣運算和分布式雲端的趨勢,避免了大規模數據搬移的成本與瓶頸,對香港及全球企業在數據中心佈局、AI應用部署有借鑒意義。香港作為國際金融和科技樞紐,亦應關注類似技術推動的基礎設施升級,為AI發展提供堅實後盾。
此外,Cloudian創辦人Tso的經歷彰顯了MIT的跨領域研究如何孕育出具前瞻性的產業創新,尤其是並行計算和網絡技術對當今AI硬件架構的深遠影響。這提醒我們,基礎研究與產業應用的緊密結合,是推動技術革命的關鍵。
未來,隨著AI模型越來越大、計算需求越來越高,類似Cloudian這種融合儲存與計算的系統將成為企業數據管理的標配。香港本地企業和科研機構應積極探索並引入這類先進技術,促進AI生態系統健康發展,避免在全球AI競賽中落後。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
🎬 YouTube Premium 家庭 Plan成員一位 只需 HK$148/年!
不用提供密碼、不用VPN、無需轉區
直接升級你的香港帳號 ➜ 即享 YouTube + YouTube Music 無廣告播放