字節發現 DeepSeek 的週期性弱點，我們實測了 V4.1，結果不太一樣

同一段代碼，前面只增加無關Token，DeepSeek會改變答案嗎？作者丨李娜 編輯丨岑峰 01DeepSeek為何有時答對、有時答錯？同一道代碼補全題，前面只增加幾個無關Token，DeepSeek就可能改變答案。（詳情可見：字節發現 DeepSeek 隱藏 Bug，加點空格，模型翻車）這是字節Seed在9月底一項研究中發現的現象。研究人員觀察到，DeepSeek-V4-Flash基礎模型會隨著代碼前方無關注釋的長度變化，在正確答案“8”和錯誤答案“32”之間週期性切換。()但這個存在於舊版基礎模型中的異常，今天還能測出來嗎？

我們找來Seed論文使用的代碼，通過DeepSeek官方API，對現役V4.1-Flash進行了兩輪測試。結果與論文中的典型案例並不相同：固定採樣的64組全部答對，另一輪測試中正確答案也始終佔據預測概率首位，但它得到的概率卻隨著輸入發生變化。02字節找到了DeepSeek的週期性弱點為了降低長上下文的推理成本，DeepSeek V4採用了兩種交替使用的注意力機制。DeepSeek V4的CSA與HCA架構示意圖CSA（壓縮稀疏注意力），將8個Token組成一個壓縮窗口，每隔4個Token生成一條壓縮記錄，再從中篩選與當前問題最相關的信息。

HCA（重度壓縮注意力），壓縮得更加激進，每128個Token只保留一條壓縮記錄，但會讀取全部歷史壓縮記錄。兩種機制承擔不同的工作：前者儘可能保留細粒度的檢索能力，後者以更高的壓縮率提供全局信息。論文發現，DeepSeek V4系列的性能漂移與CSA和HCA的分塊KV壓縮有關。同一條信息只要前後挪動幾個token，就可能落入不同的壓縮位置，改變保留和檢索的效果。研究人員將這種位置稱為“相位”（Phase）。如果模型更擅長檢索某些相位的信息，卻容易忽略另一些相位，即使關鍵信息本身沒有變化，模型也可能從答對變成答錯。這就是所謂的“相位敏感性”。

圖：8 Token壓縮窗口、4 Token步幅示意圖為了驗證這一現象，團隊將實驗擴展到128K上下文，讓模型從1.6萬條鍵值記錄中尋找指定信息。結果，DeepSeek-V4-Flash-Base表現最好的位置分組準確率達69.9%，最差的只有29.7%，相差40.2個百分點，且波動週期與壓縮步幅一致。問題究竟出在哪裡？Seed進一步基於Qwen3-0.6B架構訓練了多組對照模型，嘗試排除其他因素。研究人員去掉位置編碼RoPE，週期性弱點依然存在；取消可學習的壓縮門控，改用均勻平均，弱點也沒有消失。

當壓縮步幅分別設為4、6、8、12時，準確率波動的週期也隨之改變，而全注意力對照模型沒有出現同樣明顯的現象。這些實驗將問題指向了分塊緩存壓縮機制，而不只是某次代碼補全的偶然錯誤。當然，40.2個百分點是特定基礎模型在受控檢索實驗中的最好與最差位置差距，不能直接理解為DeepSeek在日常使用中的準確率下降。03我們實測了DeepSeek V4.1:答案沒翻轉，概率出現波動我們參考論文中的FP8代碼補全實驗，調用DeepSeek官方API，對現役V4.1-Flash進行了一輪測試。

（Seed最初觀察到答案翻轉的模型是DeepSeek-V4-Flash-Base，目前已無法通過我們使用的官方API調用。）測試方法並不複雜：保持代碼不變，只調整前面無關注釋的長度，讓模型反覆補全同一道題。正確答案是“8”，論文中曾觀察到模型有時更傾向於錯誤的“32”。為了儘量減少其他因素的影響，我們取用了論文指定版本的官方推理代碼，截取到相同的補全位置。經過Tokenizer核對，代碼前綴與論文一致，均為983個Token。接下來，我們在代碼前方添加不同長度的無關內容，保持真正需要補全的代碼不變。測試共採用四類填充方式，每類設置16種長度，從24個Token逐步增加到39個Token。

這樣一共得到64組輸入，相鄰兩組的輸入Token數只相差1個。圖：實測輸入對照，根據保存的API請求整理，兩組輸入僅增加一個Token。第一輪結果，DeepSeek表現得相當穩定。在64次固定採樣設置的測試中，模型全部補全為正確答案“8”，沒有出現Seed論文中正確答案與錯誤答案之間的翻轉。不過，模型答對了，並不意味著它每次對答案都有同樣的把握。我們又進行了64次概率測量，記錄模型對正確答案“8”和錯誤答案“32”的預測偏好。結果，“8”始終是概率最高的候選，但它得到的概率並不固定。在文檔字符串這組測試中，僅把前方填充從24個Token增加到25個Token，P(8)就從83.33%升至92.

29%。我們把四種填充方式分別統計，發現在這一輪測試裡，奇數長度下，“8”的平均預測概率都高於偶數長度，差距在3.6至5.8個百分點之間。不過，這些變化還不能說明我們復現了Seed發現的週期性弱點。雖然四類填充都呈現出奇數長度平均概率更高的現象，但並不是每組相鄰輸入都遵循這一規律。我們還對8組輸入進行了重複測量，發現即使輸入完全相同，模型給“8”的概率也會波動，最大相差約5.35個百分點。此外，概率測試中有6次隨機生成了錯誤答案“32”，但這幾次模型仍然認為“8”更可能出現，只是最終採樣選中了“32”，並不意味著預測偏好發生了逆轉。

因此，這組實測沒有觀察到Seed論文中的答案偏好翻轉，但記錄到了不同填充長度下的概率變化。考慮到我們測試的是更新的V4.1-Flash，而且尚未完全排除填充內容和接口波動的影響，還不能把這種變化歸因於緩存壓縮架構。04 DeepSeek把緩存做得更小，位置弱點反而減輕了我們沒有在此次測試中觀察到答案翻轉，但這不意味著V4.1已經完全消除了這一問題。Seed論文也曾在V4.1的部分測試條件下發現週期性的預測偏好變化。不同的輸入設置和模型調用方式，都可能影響最終結果。不過，從長上下文檢索實驗來看，DeepSeek的新版本確實出現了明顯改善。

Seed論文顯示，V4-Flash基礎模型最好與最差相位的準確率相差40.2個百分點，經過後訓練後縮小至19.1個百分點；到了9月發佈的V4.1-Flash，這一差距進一步降至6.1個百分點。值得注意的是，V4.1並沒有放棄緩存壓縮，反而進一步提高了壓縮效率。DeepSeek將部分壓縮路徑的步幅從4個Token縮小至2個Token，並採用新的Causal Encoder–Decoder（CED）架構，結合跨層緩存複用、低精度KV存儲等技術繼續降低成本。根據DeepSeek官方數據，相比上一代，V4.1的KV Cache顯存需求降至四分之一，持久化緩存存儲需求降至八分之一。

圖2｜不同版本在最好和最差相位上的準確率差異（據Seed論文數據製圖）字節Seed自己也一直在研究長上下文效率。2025年2月，Seed參與的FlexPrefill研究嘗試根據輸入內容動態選擇需要計算的注意力位置；今年9月，另一項PISA研究又提出通過分層檢索降低稀疏注意力的計算開銷。值得注意的是，FlexPrefill作者之一Yiyuan Ma，也是此次發現DeepSeek週期性弱點論文的通訊作者。05平均分為什麼可能掩蓋新架構的局部弱點？在我們的64組概率測試中，DeepSeek始終更傾向於正確答案。如果只統計最終答案是否正確，這些輸入之間的差異就很難體現出來。

Seed在論文中也發現了類似的評測盲區。在一組自行訓練的0.6B模型對照實驗中，使用全注意力和分塊緩存壓縮的兩個模型，平均檢索準確率分別為61.1%和59.4%，僅相差1.7個百分點。但將結果按信息所處的位置拆開後，情況完全不同。全注意力模型表現最差的位置分組，準確率仍有58.4%；分塊壓縮模型卻只有9.9%。兩個平均分接近的模型，在某些位置上，可靠性可能完全不同。圖3｜平均分相近，最差位置表現卻懸殊（據Seed論文0.6B實驗數據製圖）2024年，NVIDIA推出RULER，發現模型能通過簡單的“大海撈針”測試，不代表它能完成複雜的信息檢索與彙總。

2025年，Adobe等機構提出NoLiMa，發現減少問題與答案之間的關鍵詞重合後，模型表現也可能明顯下降。從“能裝下多少Token”到“能不能準確找回和理解信息”，長上下文評測不斷變得更細。而Seed此次研究又揭示了新的維度：模型所採用的壓縮架構，也可能讓某些固定位置成為檢索弱點。這種差異在Agent場景下尤其值得關注。Coding Agent需要持續讀取代碼、日誌和工具反饋，關鍵信息的位置會隨著任務推進不斷變化。一次檢索錯誤可能影響後續操作。不過，Seed目前的實驗還不能直接證明相位敏感性導致了多少真實Agent任務失敗，這仍需要更接近實際工作流的測試。

因此，對採用分塊壓縮的模型來說，除了平均成績，還可以進一步比較不同相位上的表現、最差位置的準確率，以及這些差異是否會影響連續任務的完成。對於其他架構，可能又需要設計不同的測試方法。06結尾：一場尚未結束的架構競賽回頭看這次研究，DeepSeek將新的壓縮架構應用於實際模型，字節Seed則藉助公開權重，找到了此前不容易察覺的性能弱點。而在論文發表之前，DeepSeek已經通過新一輪迭代，讓相關位置差異明顯減輕。這也是當下大模型技術競爭值得關注的一面：一家公司的架構探索，可能成為另一家公司的研究對象；一次技術突破尚未被完全理解，新的問題和改進方向就已經出現。

上車，帶你看遍全球 AI 頂會精華可獨家暢覽：專家演講PPT大會報告全文熱門論文解讀學術新星訪談掃描上方二維碼或點擊「閱讀原文」關注專區。