Bengaluru新創打造最快AI推理引擎！

這間班加羅爾初創公司打造了最快的推斷引擎，超越Together AI和Fireworks AI

Simplismart的軟件優化使Llama 3.1 8B的每秒吞吐量超過343個標記。

推斷速度目前成為了熱門話題，各公司爭相調整和構建自己的AI模型。隨著像OpenAI的o1這樣的模型展示出在提示後的“思考”和推理能力，關於測試時計算的討論也愈發熱烈，這些模型依賴基礎設施驅動的計算，即使在訓練後仍然如此。

因此，像Groq、Sambanova和Cerebras Systems等公司開始專注於構建自己的硬件，並在推斷性能上提供無與倫比的表現，與NVIDIA和AMD等公司競爭。

然而，來自班加羅爾的初創公司Simplismart，則由前Oracle和Google的工程師領導，已經成為高性能AI部署工具的領導者。它在推斷速度方面專注於軟件，而非硬件。

Simplismart的推斷引擎優化了所有模型部署的性能。例如，其軟件層面的優化使Llama 3.1 8B的吞吐量達到每秒超過343個標記，這是目前最快的，並且忽略了像Groq、Cerebras和SambaNova等硬件公司。該平台還支持Whisper V3、Mistral 7B、Melo TTS和SDXL等模型。

與依賴硬件或雲解決方案的Groq和其他公司不同，Simplismart的創新在於其MLOps平台，旨在支持本地企業部署，並在不同模型和雲平台之間靈活運用。Simplismart的共同創始人兼首席執行官Amritanshu Jain在接受訪問時迅速澄清，該公司並不打算進入硬件競賽。

“像Grok和Cerebras這樣的公司可能會將其硬件宣傳為最快的推斷，但這不是我們想要參加的競賽。硬件是一場競爭的下坡路，企業不斷用新芯片超越彼此。我們則是在打造一個通用引擎，無論模型、芯片或雲平台，都不受限於它們，”Jain說。

該平台提供了一種聲明式語言，類似於Terraform，簡化了大規模微調、部署和監控AI模型的過程。這種語言使企業能夠輕鬆地微調、部署和監控模型，提供了一種靈活的解決方案，能夠適應本地和雲端環境。

由Jain和Devansh Ghatak創立的這家班加羅爾初創公司，因其聲稱開發了世界上最快的推斷引擎而受到關注，超越了TogetherAI和FireworksAI等競爭對手。

在十月，Simplismart在由Accel主導的A輪融資中籌集了700萬美元，並得到了Shastra VC、Titan Capital和Notion的共同創始人Akshay Kothari等天使投資者的參與。

“我們的目標不僅是成為最快的，而是為企業提供所需的自主權，使AI能夠根據他們的需求運作，”Jain說。

該公司的平台支持NVIDIA GPU和AMD芯片，並可以與專用加速器集成，如果它們公開可用。這種適應性意味著Simplismart的解決方案可以隨著行業的進步而演變，讓企業在不受特定硬件供應商或雲服務限制的情況下，輕鬆維持AI性能。

Jain認為，像Together AI和Fireworks AI這樣的公司只是提供通用的AI服務，而Simplismart則旨在提供更全面的解決方案。“TogetherAI和FireworksAI本質上是將GPU偽裝成生成AI API的經紀商，”Jain表示。“他們提供推斷的API，但這並不是企業真正需要的。企業希望控制自己的數據、服務水平協議（SLA）和隱私，而僅僅依賴API是無法實現的。”

Simplismart的平台不僅提供API訪問，還允許企業在自己的本地環境中托管和管理AI模型，從而確保更高的安全性和控制權。

Jain指出，特別是處理敏感數據的企業，由於數據隱私問題，對使用第三方API持謹慎態度。通過提供類似Terraform的語言進行MLOps編排，Simplismart為企業提供了構建和管理個性化推斷引擎所需的工具，這種定制化水平是API無法比擬的。

創始故事：從大學室友到共同創始人

Jain和Ghatak的夥伴關係可以追溯到大學時期，他們因共同對機器學習的興趣而建立了友誼。畢業後，兩人都開始了鞏固其AI基礎設施專業知識的職業生涯。Jain曾在Capillary Technologies和Oracle Cloud工作，而Ghatak則在會話AI公司Avaamo和Google任職。

他們創建Simplismart的旅程始於對行業冗餘的沮喪。“我們在班加羅爾是室友，經常發現自己為不同的組織編寫類似的代碼，”Jain回憶道。“我們意識到，如果大型科技公司在自然語言模型的推斷上面臨優化挑戰，那麼較小的企業可能會面臨更大的困難。”

這一洞察為Simplismart奠定了基礎。在一次黑客馬拉松獲勝後，他們在2022年決定辭職創建一家可以為企業提供更高效管理AI模型的公司。

“在2000年代初，AWS和GCP標準化了伺服器啟動的過程，而像Databricks和Snowflake這樣的公司則簡化了數據處理。現在，我們正處於生成AI的新轉折點，企業需要標準化的工具來部署和管理模型，”Jain總結道。

這不僅是技術的進步，也是企業如何應對不斷變化的數據需求和隱私問題的關鍵。Simplismart的出現不僅為AI模型的部署提供了新的思路，也為企業在數據治理和安全性方面提供了更大的選擇，這對於當前數據驅動的商業環境尤為重要。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。