Cisco全新開源多解析度時間序列預測模型發布!

Ai




Cisco 推出首個開源權重基礎模型「Cisco Time Series Model」針對觀察性及安全指標的時間序列預測

Cisco 與 Splunk 聯合推出了名為Cisco Time Series Model的單變量零樣本時間序列基礎模型,專門用於觀察性(observability)及安全指標的預測分析。該模型以 Apache 2.0 許可證形式,作為開源權重檔案在 Hugging Face 平台公開,目標是無需針對特定任務進行微調即可直接應用於預測工作。此模型基於 TimesFM 2.0,並加入多解析度架構,能夠將粗糙與細緻的歷史數據融合於同一上下文視窗中。

為何觀察性需要多解析度上下文?

生產環境的度量指標並非單一尺度的訊號。週期性模式、長期增長與飽和現象只能在較粗略的時間尺度看到;而飽和事件、流量尖峰及事故動態則需要以1分鐘或5分鐘的細緻解析度觀察。現有主流時間序列基礎模型通常只在單一解析度上運作,且上下文視窗長度在512至4096點之間,而 TimesFM 2.5 雖然擴展到16384點,但1分鐘解析度下頂多覆蓋幾週數據,仍有不足。

這種限制在觀察性領域尤為明顯,因為數據平台往往只保留聚合過的歷史數據,細粒度樣本會過期,僅以1小時的聚合形式存留。Cisco Time Series Model 正是針對這種存儲模式設計,將粗糙歷史數據視為一級輸入,從而提升細粒度預測的準確度。其架構直接在多解析度上下文中運作,不再假設所有輸入均在同一格點上。

多解析度輸入與預測目標

模型正式接受一對上下文輸入,分別為粗糙上下文(x_c)和細緻上下文(x_f),各自長度最多512點。粗糙解析度的時間間隔是細緻解析度的60倍。典型的應用場景會使用512小時的1小時聚合數據和512分鐘的1分鐘細緻數據,兩者在同一預測截點結束。模型預測128個細緻解析度的未來點,並輸出均值及從0.1至0.9分位數的預測結果。

架構設計:以 TimesFM 核心加入解析度嵌入

Cisco Time Series Model 採用 TimesFM 的基於 patch 的解碼器堆疊。輸入先經過正規化,分割成不重疊的區塊,再通過殘差嵌入層。Transformer 核心包含50層純解碼器層。最後一個殘差區塊將 token 映射回預測範圍。研究團隊取消了傳統的位置嵌入,改用 patch 順序、多解析度結構及新增的解析度嵌入來編碼結構信息。

架構中有兩項創新令其具備多解析度感知能力:一是插入特別 token(報告中稱為 ST)於粗糙與細緻 token 流之間,用以標示解析度邊界;二是解析度嵌入(RE),為所有粗糙 token 和細緻 token 分別使用不同的嵌入向量。消融實驗證明這兩者對提升長上下文場景下的預測質量尤為重要。

解碼過程同樣多解析度,模型輸出細緻解析度的均值與分位數預測。在長期預測時,最新生成的細緻點會追加至細緻上下文,這些點的聚合值會更新粗糙上下文,形成兩種解析度共同演進的自回歸循環。

訓練資料與方法

Cisco Time Series Model 在 TimesFM 權重基礎上持續預訓練,模型參數約5億個。訓練使用 AdamW 優化偏置、正規化與嵌入層,Muon 優化隱藏層,採用餘弦學習率調度。損失函數結合均方誤差與0.1至0.9分位數損失。訓練20個 epoch,並以驗證損失選擇最佳檢查點。

資料集龐大且偏重觀察性,Splunk 提供約4億條1分鐘解析度的度量時間序列,涵蓋13個月,部分聚合為5分鐘解析度。最終語料庫包含超過3000億獨特數據點,其中約35%為1分鐘觀察性數據,16.5%為5分鐘觀察性數據,29.5%為 GIFT Eval 預訓練資料,4.5%為 Chronos 數據集,14.5%為合成 KernelSynth 系列。

在觀察性及 GIFT Eval 基準測試中的表現

研究團隊在兩大基準測試中評估模型:一是來自 Splunk 度量的1分鐘及5分鐘解析度觀察性數據集;二是過濾後的 GIFT Eval(剔除包含 TimesFM 2.0 訓練數據的資料集)。

在1分鐘解析度、512細緻步長的觀察性數據上,Cisco Time Series Model 使用512多解析度上下文,使平均絕對誤差由 TimesFM 2.5 的0.6265及 TimesFM 2.0 的0.6315降至0.4788,其他指標如平均絕對比例誤差及連續排序概率分數亦有類似提升。5分鐘解析度亦展現出相似優勢。整體而言,該模型在觀察性任務中超越 Chronos 2、Chronos Bolt、Toto 和 AutoARIMA 等基線模型。

在過濾後的 GIFT Eval 基準中,Cisco Time Series Model 與基礎 TimesFM 2.0 表現相當,並與 TimesFM-2.5、Chronos-2 和 Toto 競爭力接近。研究團隊強調,該模型並非全方位壓倒性勝出,而是在保持良好通用預測能力的同時,於長上下文窗口及觀察性任務中展現明顯優勢。

重點總結

1. Cisco Time Series Model 是一款單變量零樣本時間序列基礎模型,基於 TimesFM 2.0 解碼器架構,新增多解析度設計,專注於觀察性及安全指標預測。
2. 模型處理多解析度上下文,包括最多512點的粗糙與細緻序列(粗糙解析度為細緻解析度的60倍),預測128點細緻解析度的均值及分位數。
3. 訓練資料超過3000億數據點,超半數來自觀察性數據,混合 Splunk 機器數據、GIFT Eval、Chronos 及合成 KernelSynth 系列,模型大小約5億參數。
4. 在1分鐘及5分鐘解析度的觀察性基準上,模型誤差明顯低於 TimesFM 2.0、Chronos 及其他基線,且在通用 GIFT Eval 基準保持競爭力。

評論與啟示

Cisco Time Series Model 的推出標誌著時間序列分析領域一個重要的里程碑,尤其是在觀察性數據的多解析度處理上帶來創新。傳統時間序列模型多依賴單一解析度,面對現代 IT 系統中因數據存儲限制而存在的多層級數據時,往往無法兼顧長期趨勢與短期波動。Cisco 的多解析度架構巧妙地將粗糙與細緻數據融合,實現了更廣泛的時間範圍覆蓋與更精確的預測,這對於即時監控與安全事件預警尤為關鍵。

此外,該模型在無需任務特定微調的零樣本設定下,依然能保持強勁預測能力,顯示了其基礎模型的泛用性與穩健性。這對於企業快速部署與擴展監控系統具有實際價值。

不過,值得關注的是,模型規模達5億參數,訓練資料龐大且偏重特定領域,這可能限制了模型在其他時間序列領域的即時應用潛力。未來若能進一步優化模型體積與泛化能力,甚至結合更多異構數據源,將有助於推動時間序列預測技術在更多行業的廣泛應用。

總體而言,Cisco Time Series Model 不僅為觀察性數據分析提供了強大工具,也為多解析度時間序列模型的研發指明了方向,值得業界與學術界深入關注與借鑒。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。

✨🎱 Instagram留言 →

AI即回覆下期六合彩預測

🧠 AI 根據統計數據即時生成分析

💬 只要留言,AI就會即刻覆你心水組合

🎁 完!全!免!費!快啲嚟玩!

IG 貼文示意圖 AI 即時回覆示意圖

下期頭獎號碼

📲 去 Instagram 即刻留言

🎬 YouTube Premium 家庭 Plan成員一位 只需 HK$148/年

不用提供密碼、不用VPN、無需轉區
直接升級你的香港帳號 ➜ 即享 YouTube + YouTube Music 無廣告播放

立即升級 🔗