NVIDIA 正在協助蘋果打造更快更好的 AI 體驗
蘋果與 NVIDIA 分享了合作的細節，旨在通過一種新的文本生成技術來改善大型語言模型（LLMs）的性能。蘋果在其報告中指出：
加速 LLM 推理是一個重要的機器學習研究問題，因為自回歸標記生成的計算成本高且速度相對較慢，提高推理效率可以減少用戶的延遲。除了持續努力加速蘋果自家晶片上的推理外，我們最近在加速行業內廣泛使用的 NVIDIA GPU 上的 LLM 推理方面也取得了顯著進展。
今年早些時候，蘋果發布並開源了 Recurrent Drafter（ReDrafter），這是一種新的推測解碼方法，達到了“最先進的性能”。根據公司資料，ReDrafter 使用了一個 RNN 草擬模型，並將束搜索與動態樹注意力相結合，為開源模型的 LLM 標記生成速度提高了多達 3.5 個標記每生成步驟，超越了以往的推測解碼技術。
“在使用 NVIDIA TensorRT-LLM 推理加速框架和 ReDrafter 對一個擁有數十億參數的生產模型進行基準測試時，我們看到每秒生成的標記數量提高了 2.7 倍。”蘋果的報告顯示。這項技術能顯著減少用戶可能面臨的延遲，同時使用更少的 GPU 並消耗更少的電量。
隨著蘋果不斷改善其 Apple Intelligence 平台，這項技術尤其有用。通過提供更快和更準確的結果，用戶在使用蘋果的 AI 工具時將會有更好的體驗。該公司在報告中最後提到，ReDrafter 可以改善與 NVIDIA GPU 的使用體驗。
大型語言模型越來越多地被用於推動生產應用程序，提高推理效率不僅可以影響計算成本，還可以減少用戶的延遲。隨著 ReDrafter 的新穎推測解碼方法整合進 NVIDIA TensorRT-LLM 框架，開發者現在可以在 NVIDIA GPU 上為其生產 LLM 應用程序受益於更快的標記生成。
如果你是一位開發者並想使用新的 ReDrafter 工具，可以在蘋果的網站和 NVIDIA 的開發者博客上找到詳細信息。
評論
這項合作顯示了科技巨頭之間的協同作用，蘋果和 NVIDIA 的聯手不僅對提升 AI 應用的性能具有重要意義，也為開發者提供了更強大的工具。在當前的科技生態中，AI 的運用日益普遍，能否有效提高推理速度和效率將直接影響用戶體驗和開發成本。
值得注意的是，這種技術的進步不僅僅是提升運算效能，更是對於 AI 在各行各業應用的一次革命。隨著 LLM 的廣泛應用，我們可以期待未來會有更多智能應用出現，讓我們的生活更加便捷。這也引發了對於數據安全和AI倫理的討論，未來的發展是否能夠兼顧效率與安全，將是我們必須面對的重要課題。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
