通過這樣的智能體，Fable制作出了一集完全用AI拍攝的《南方公園》！

從編劇、動畫、導演、語音、編輯……到劇集制作的全流程，都是由AI完成。在整個制作環節中，通過自然語言，給不同的智能體分配了各自的目標，人類導演只需要給出一個高層次的構思提示（標題、概要、事件），這些AI智能體就會開始「自導自演」。之后，人類幾乎就不用進行任何干涉了！在制作過程中，不同的AI智能體，擔任了不同的角色，如演員、導演、剪輯等，它們彼此分工合作，互相配合，最終完成了整部影片的制作。

而同樣的，類似的案例，也出現在前段時間清華團隊的研究中。7月19日，清華團隊用ChatGPT打造了個零人工含量的“游戲公司”——ChatDev，只要你提出想法，從設計到測試的完整流程，都由AI幫忙搞定。

Fable與制作《南方公園》的思路類似，在游戲開發的環節中，ChatDev的十多個智能體也分別擔任了這個“公司”中的策劃、程序員、設計師等不同的崗位。

在項目開始時，人類可以對這些AI提出一個大概的想法或創意。之后，各個智能體之間就會進行一系列討論、制作、測試的環節，整個過程完全不需要人類的參與，全是自動進行的。由此可見，有了智能體之后，大模型就能根據人類給出的規則和策略來做出決策，而不需要人類的干預或指令。在這個過程中，智能體還會通過習得的經驗或知識，來改善自己的性能和適應性，并根據目標函數或獎勵函數來評估自己的行為。而這樣的能力，是以往的大模型（LLM）無論如何都不具備的。因此，LLM即使再聰明，也是一個沒有身體的“大腦”，而正是智能體的出現，讓LLM有了行動的能力，有了自主完成復雜任務的能力。

而這樣的能力，正是LLM下一階段進行在應用層面進行落地的關鍵。

2

國內智能體進展

既然智能體這么重要，那國內在這方面發展得怎樣了呢？

在今年的 2023 世界人工智能大會上，聯匯科技發布了基于大模型自主智能體(Auto AI Agent )——OmBot 歐姆智能體，并針對典型場景需求，推出了首批應用。

要想打造一個真正的智能體，最關鍵的地方，就在于讓AI不依賴人類來指導命令，能夠根據任務目標，主動完成任務。

而要想實現這點，就必須讓AI具備認知、記憶、思考、行動等幾大核心能力，使之能夠感知環境、自主決策，并且模仿人類大腦工作機制。在這方面，聯匯科技多年的研究成果——歐姆大模型3.0，成為了孕育OmBot 歐姆智能體的搖籃。歐姆大模型3.0培養智能體的思路是：在智能體的諸多能力中，認知和思考能力是最關鍵的。

而要鍛煉這樣的能力，就要通過大量的開放識別、視覺問答等訓練方式，來讓智能體從被動的識別轉為主動推理，并自主提出解決方案。例如通過讓智能體觀看不同的圖片、視頻，并讓其通過語義去理解和描述其中的目標。而之所以要選擇開放識別、視覺問答為主的訓練方式，是因為在各個行業中，都存在著大量的特定場景和任務，需要對視頻中的內容進行精準的識別、分析。

但這些場景和任務，往往是非常細分和多樣化的，難以用通用的模型和方法來滿足，于是就造成了各行各業對智能識別的大量長尾需求。在對這些視覺信息進行分析的過程中，歐姆大模型會通過多輪對話推理的機制，將圖像、視頻、以及相關的問題或反饋等輸入轉換為特征向量，并存儲在一個記憶單元中，之后，大模型的解碼器就會負責根據記憶單元中的特征向量生成最終的回復。

在對一張張圖片，一段段視頻的對話問答中，歐姆大模型會將視覺模型和語言模型進行細粒度的對齊，讓其可以理解人類指令，并合理作答。

那么，這些經過了不同行業視覺數據歷練的智能體，后來怎樣了？能在實際場景中展現實力了嗎？目前，歐姆智能體的主要應用場景，大致分為三類：智慧店長、文檔處理、視頻剪輯。如果說，智能體最重要的能力是其是否具備自主分析、決策的能力，那么我們不妨將歐姆智能體在這三大場景中的表現，與傳統手段進行對比，看看其是否具有了真正意義上的智能體的特征。

3

解決“落地焦慮”

簡單來說，智慧店長主要就是通過與攝像頭視覺信息結合，利用歐姆大模型智能識別店內發生的一切。在這方面，傳統的攝像頭只能提供視頻監控的功能，無法對視頻畫面進行智能分析、處理、交互和反饋。而具備了智能體后，智慧店長就能通過與攝像頭視覺信息結合，識別店內發生的一切，并自主決策提示交互信息。例如實時監測和分析客流量、客戶特征等數據，遇到突發情況時，還看自動報警和處置店內的安全隱患。

在文檔處理方面，按照聯匯科技的說法，歐姆智能體最大的優勢，是可以將專業知識有效集成到向量數據庫，并存儲記憶，形成專業機器人。

而一個具備了智能體的大模型，與傳統的行業垂直類大模型相比，最獨特的優勢，是其持續學習和適應能力，而非依賴于靜態的數據集。在這方面，只能說歐姆智能體具備了其持續學習的基礎。因為向量數據庫與傳統數據庫相比，采用靈活的數據結構，如多模態的數據支持，而將不同結構的知識進行整合，正是持續學習的基礎。

但其是否真的具備這樣的持續學習能力，也許還要進行長時間的觀察。

而在視頻剪輯方面，AIGC 小歐可以成為媒體、文化、游戲等行業的剪輯助手。通過 AIGC 實現媒體視頻素材的一鍵成片。

可以說，這是智能體能力體現得最直接的一個方面，通過語言理解能力，智能體在剪輯過程中，可以自動依據文案內容，對不同鏡頭添加更加細節的視頻鏡頭描述，從而省去了人工制作視頻中，繁瑣的文字與鏡頭之間的匹配工作。從上述幾點來看，歐姆智能體確實具備了一定的智能體特征，然而，即便如此，在其商業化落地的過程中，仍然會面臨不少挑戰。從目前歐姆智能體的落地方向上來看，其本質上走的還是一種“松耦合”的技術路線。

所謂的“松耦合”，簡單來說，不同任務分解，通過不同智能體來完成，最后通過大模型來完成自動化調度和協作。比如語言大模型來學習對話、視覺大模型來識別地圖。這類智能體，雖然從不像人一樣有綜合智能，但從成本和可行性上，卻能更快落地。然而，這樣的“松耦合”路線，由于技術壁壘并不高，在競爭中很容易遭到同類型智能體的擠壓，進而導致毛利率不斷下降，以至于技術紅利很快走到盡頭。

到了那時，一種端到端的，一個大模型就能包辦所有的“緊耦合”路線，就會成為行業共同的期盼。但這樣一種集合了多種智能，能適應各種任務的智能體，必定蘊含了更多技術含量頗高的“硬科技”，而國內團隊是否能一一攻破這些難關，仍是個未知數。