創意任務解決率95%！讓視覺AI自己練習，還能把經驗帶到視頻

由北京航空航天大學、香港中文大學與新加坡國立大學組成的研究團隊，近日發表一款名為 OmniHarness 的視覺智能框架。這套系統的核心機制在於讓視覺 AI 不再僅僅被動接收指令，而是透過主動練習與自我檢查結果，逐步累積有效的決策流程，並進一步將這些經驗遷移到影片等動態場景中。根據研究團隊公布的數據，OmniHarness 在創意任務上的解決率達到 95%，展現出極高的執行準確度。長期以來，視覺 AI 模型在處理複雜任務時，往往高度依賴大量人工標註資料或固定的執行範本。這樣的設計不僅耗費人力與時間，也讓模型在面對未曾見過的場景或動態變化時，容易出現適應不良的情況。

OmniHarness 的出現，正是為了突破這項瓶頸，讓 AI 在練習過程中自行判斷哪些步驟能夠成功達成目標，並將這些有效流程保留下來，形成可重複使用的經驗庫。具體而言，OmniHarness 的運作方式類似於一個自主學習的循環。視覺智能體在接收到任務後，不會直接套用預設規則，而是嘗試多種可能的路徑，並在每一步執行後自我檢視結果是否符合預期。如果某個步驟導致了正確的輸出，該步驟就會被記錄下來；反之，失敗的嘗試則會被捨棄。經過多次練習，系統便會累積出一套由成功步驟組成的決策流程，這些流程被存入經驗庫，成為未來類似任務的參考依據。這項設計的關鍵突破，在於經驗庫的可遷移性。

當 OmniHarness 遇到全新的影片或動態任務時，智能體無須從零開始摸索，而是可以直接調用先前在靜態影像練習中學到的策略，快速適應變動的場景。例如，若系統已經在靜態圖片中學會如何辨識物體邊緣與追蹤軌跡，這套策略就能被直接套用到影片中的連續幀上，大幅縮短適應時間。研究團隊指出，傳統的視覺 AI 模型在跨媒體遷移時，通常需要重新訓練或人工調整參數，導致效率低落。相較之下，OmniHarness 的經驗庫具備跨任務、跨媒體的通用性，使得視覺智能體在真實場景中的適應能力獲得顯著提升。

測試結果顯示，OmniHarness 在創意任務上達到 95% 的解決率，這類任務常見於需要即興發想、組合元素或非固定流程的視覺應用，例如自動生成場景佈局、根據文字指令改編影片片段等。創意任務之所以對傳統 AI 構成挑戰，是因為它們沒有標準答案，也沒有明確的步驟指引。過去，模型往往只能依靠大量人工示範或預先定義的規則來運作，一旦規則失效，效能便大幅下降。OmniHarness 透過自主練習與經驗累積，讓 AI 學會從嘗試中歸納出有效模式，即使面對從未見過的創意指令，也能夠憑藉過去的成功經驗推導出合理的解決方案。

這項研究的三所成員機構——北京航空航天大學、香港中文大學與新加坡國立大學——在電腦視覺與人工智慧領域皆有深厚底蘊。OmniHarness 的誕生，不僅是學術合作的成果，也為後續視覺 AI 在跨媒體任務自動化的發展提供了更有效率的解決方案。研究團隊表示，未來將進一步優化經驗庫的結構，提升模型在即時影片處理、無人機視覺導航、自動剪輯等應用場景中的表現。從技術本質來看，OmniHarness 其實是將「練習」與「反思」的概念引入視覺 AI 的學習流程。傳統的監督式學習依賴標註資料來告訴模型「什麼是對的」，而 OmniHarness 則讓模型自己探索「什麼方式能達成目標」。

這種從被動接受到主動建構的轉變，使得 AI 的決策過程更具彈性，也更能適應真實世界中充滿變數的環境。可以預見，隨著 OmniHarness 這類框架的成熟，視覺 AI 將不再只是靜態圖像的分析工具，而能夠真正進入動態、互動的應用場景。從智慧監控系統的自動事件偵測，到教育領域的互動式教學影片製作，甚至到影視產業的快速預覽與特效生成，OmniHarness 所展現的自主學習與跨域遷移能力，都將為這些領域帶來全新的可能性。目前，研究團隊已公開部分技術細節與實驗數據，學界與業界對此反應熱烈。

許多專家認為，這項工作為解決視覺 AI 長期以來的「泛化難題」提供了一條務實的路徑——不需要海量標註，也不需要人工設計複雜規則，只需讓 AI 在練習中自我修正、累積經驗，便能逐步縮小與人類視覺推理能力之間的差距。95% 的創意任務解決率，正是這套方法潛力的具體證明。