ChatGPT長出手，打造最強「賈維斯」！出一張嘴就能讓AI命令AI，怎麼做到？|數位時代 BusinessNext

前段時間，浙大&微軟發布了一個大模型協作系統HuggingGPT直接大紅。現在，最強組合HuggingFace+ChatGPT=「賈維斯」現在開放demo了。

研究者提出了用ChatGPT作為控制器，連接HuggingFace社區中的各種AI模型，完成多模態複雜任務。
整個過程，只需要做的是：用自然語言將你的需求輸出。

NVIDIA科學家稱，「這是我本週讀到的最有意思的論文。它的思想非常接近我之前說的『Everything App』，即萬物皆App，被AI直接讀取資訊」。

上手體驗

現在，HuggingGPT增加了Gradio展示。有網友便上手體驗了一番，先來「識別圖上有幾個人」？

HuggingGPT根據推理結果，得出圖片中有2個人正在街道上行走。

具體過程如下：

首先使用了圖像到文本模型nlpconnect/vit-gpt2-image-captioning進行圖像描述，生成的文本「2個女人在有火車的街道上行走」。

接著，使用了目標檢測模型facebook/detrresnet 50來檢測圖片中的人數。模型檢測出7個物體，2個人。再使用視覺問題回答模型dandelin/vilt-b32-finetuned-vqa得出結果。最後，系統提供了詳細的回答和用於解答問題的模型資訊。

另外，讓它理解「我愛你」這句話的情感，並將其翻譯成泰米爾語（Tamiḻ）。

HuggingGPT調用了以下模型：

首先，使用了模型「dslim/bert-base-NER」對文本「I love you」進行情感分類，是「浪漫」。
然後，使用「ChatGPT」將文本翻譯成泰米爾語，即「Nan unnai kadalikiren」。

在推理結果中沒有生成的圖片、音檔或影像文件。

轉錄MP3文件時，HuggingGPT卻失敗了。網友表示，「不確定這是否是我的輸入文件的問題。」

再來看看圖像生成的能力。

輸入「一隻貓跳舞」圖像上添加文字「I LOVE YOU」作為疊加層。

HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根據給定的文本生成「跳舞的貓」的圖片。

然後，使用同一個模型根據給定的文本生成了「I LOVE YOU」的圖片。

最後，將2個圖片合併在一起，輸出如下圖：

賈維斯4步驟，成為ChatGPT的手

項目公開沒幾天，賈維斯已經在GitHub上收穫了12.5k星，以及811個fork。

研究者指出解決大型語言模型（LLMs）目前的問題，可能是邁向AGI的第一步，也是關鍵的一步。

因為目前大型語言模型的技術仍然存在著一些缺陷，因此在構建AGI 系統的道路上面臨著一些緊迫的挑戰。

為了處理複雜的人工智慧任務，LLMs應該能夠與外部模型調度，以利用它們的能力。因此，關鍵點在於如何選擇合適的中間軟體來橋接LLMs和AI模型。

在這篇研究論文中，研究者提出在HuggingGPT中語言是通用的接口。其工作流程主要分為四步：

論文網址

首先是任務規劃，ChatGPT解析用戶請求，將其分解為多個任務，並根據其知識規劃任務順序和依賴關係。
進行模型選擇。LLM根據HuggingFace中的模型描述將解析後的任務分配給專家模型。
執行任務。專家模型在推理端點上執行分配的任務，並將執行資訊和推理結果記錄到LLM中。
生成。LLM總結執行過程日誌和推理結果，並將摘要返回給用戶。

假如給出這樣一個請求：

請生成一個女孩正在看書的圖片，她的姿勢與example.jpg中的男孩相同。然後請用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個子任務，並分別選定模型執行得到最終結果的。

通過將AI模型描述納入提示中，ChatGPT可以被視為管理人工智慧模型的大腦。因此，這一方法可以讓ChatGPT能夠調用外部模型，來解決實際任務。

簡單來講，HuggingGPT是一個協作系統，並非是大模型。它的作用就是連接ChatGPT和HuggingFace，進而處理不同模態的輸入，並解決眾多複雜的人工智慧任務。

所以，HuggingFace社區中的每個AI模型，在HuggingGPT庫中都有相應的模型描述，並將其融合到提示中以建立與ChatGPT的連接。隨後，HuggingGPT將ChatGPT作為大腦來確定問題的答案。

到目前為止，HuggingGPT已經圍繞ChatGPT在HuggingFace上集成了數百個模型，涵蓋了文本分類、目標檢測、語意分割、圖像生成、問答、文本到語音、文本到影像等24個任務。實驗結果證明，HuggingGPT可以在各式複雜任務上表現出良好的性能。

網友好評不斷

有網友稱，HuggingGPT類似於微軟此前提出的Visual ChatGPT，似乎他們把最初的想法擴展到了一組龐大的預訓練模型上。Visual ChatGPT是直接基於ChatGPT構建，並向其加入了許多可視化模型（VFMs）。文中提出了Prompt Manage，在PM的幫助下，ChatGPT可以利用這些VFMs，並以漸進的方式接收反饋，直到滿足用戶的要求或達到結束條件。

還有網友認為，這個想法確實與ChatGPT介面非常相似。以LLM為中心進行語義理解和任務規劃，可以無限提升LLM的能力邊界。通過將LLM與其他功能或領域專家相結合，我們可以創建更強大、更靈活的AI 系統，能夠更好地適應各種任務和需求。

這就是我一直以來對AGI的看法，人工智慧模型能夠理解複雜任務，然後將較小的任務分派給其他更專業的AI模型。就像大腦一樣，它也有不同的部分來完成特定的任務，聽起來很符合邏輯。

參考資料：twitter、huggingface

本文授權轉載自：網易科技

責任編輯：傅珮晴、錢玉紘

在資訊爆炸的投資時代，面對琳瑯滿目的投資選項，你是不是也不知道該如何做選擇？其實「選對工具」比「努力研究」更有效率。長期深耕金融科技的鉅亨買基金，早已洞察基金投資領域中資訊分散、選擇障礙、操作繁瑣的痛點，透過科技與使用者中心的系統設計，致力打造更方便、效率的智能投資體驗。

除了有全站基金終身 0 手續費的吸睛誘因，更重要的是鉅亨買基金解決了投資人的實際困擾；透過動態篩選熱門基金、自動化投資工具等創新功能，將過去需要專業知識和複雜操作的投資流程，簡化為直覺易懂的數位體驗，逐步改變了傳統的基金交易模式，讓理財不再是少數人的專利，而是人人可及的日常選擇。

這次鉅亨買基金全新改版 App 正式上線，更進一步強化平台體驗。以看得懂、找得到、學得快的設計精神，整合多項創新功能，讓基金投資輕鬆上手、事半功倍。無論是理財新手、基金老手，或有多個家庭帳戶需要管理的財務大臣，透過鉅亨買基金全新 App，即可一站掌握市場情報、熱門標的、專業策略與帳戶總覽。

其中，全新推出的「大師榜」功能，更力助投資人掌握高手秘笈，有機會跟著前輩練功，一步步練出屬於自己的投資眼光。

功能全開箱！一站搞定找基金、看標的、管帳戶

打開鉅亨買基金 App，最直覺的感受就是：乾淨、精準、快速。設計邏輯不複雜，透過快搜、熱門標的、帳戶整合與自選捷徑設計，將過去繁瑣的基金投資流程化繁為簡，打造一個隨時可啟動、易於操作的投資入口，讓資訊不再分散，動作更精準。為降低基金學習與決策門檻，即使尚未開戶，仍可下載App使用以下亮點功能：

一、基金搜尋：輸入關鍵字如「高股息」、「ESG」、「科技」等，即可快速列出相關標的。配合風險等級、配息頻率、基金品牌、幣別、投資區域等條件篩選，搭配報酬率或績效排序，為投資人有效縮短挑選時間。

二、夯股基金：針對市場熱門題材，使用者可點選最多五檔熱門持股，如輝達、蘋果等，快速查詢各基金的持股比例，並依喜好排序篩選。對於想掌握趨勢卻擔心判斷失誤的投資人而言，「夯股基金」提供了更安全、有效的參與方式，透過專業基金經理人篩選與靈活操作，幫助新手建立題材導向的選基邏輯，同時分散個股波動風險，不漏接每一波趨勢財。