盤點，是一種對未來想像的策展。遍布全球的AI 100、立足台灣的AI 50當中，可以拼湊出關鍵趨勢。從這一次封面故事的報導和專訪中，我們試圖勾勒出AI產業的當下與未來。
《數位時代》年度AI特集：AI影音圖解、直播論壇連線產業專家、AI Taiwan展免費體驗，立即行動>>
「背號23號球員投進3分球」，在搜尋欄位輸入這段文字會找到什麼？
如果導入韓國新創公司Twelve Labs的影像分析模型，可以找到你心中的正確答案：美國職籃傳奇球星麥可・喬丹（Michael Jordan）的生涯經典片段。
「用戶會使用我們的API，篩選出特定球員的精采瞬間。」以體育產業的客戶為例，Twelve Labs共同創辦人暨營運長鄭振宇表示，體育組織擁有龐大的比賽影像，但幾乎難有用武之地，「他們需要探索和搜尋功能，用來建立賽事精華這類影片。」
讓AI像人類一樣看見、聽見並理解影音內容，同時又能作業遠超過人工可及的數量，是Twelve Labs專精之處，核心技術是訓練AI標記影片包含圖像、聲音和動作等特徵，讓影片可以用更細緻的方式被搜尋。
「12」致敬朝鮮破浪者，頂時差練功征服4萬粉
以執行長Jae Lee為首，Twelve Labs在2021年成立時，有12位初始成員，團隊致敬16世紀朝鮮李舜臣將軍僅憑12艘戰艦，在鳴梁海戰中退敵的傳奇故事，便以數字12（Twelve）為名。
Twelve Labs的商業模式為提供API給開發者和企業端串接應用，鄭振宇說，起初團隊為了讓影像搜尋技術變現，總共想了10種途徑，「我們經過很長一段歷程，因為技術很新、有很多需要驗證之處，加上當時影像市場還不成熟。」
鄭振宇回憶，決定創業後經過了6到8個月的陣痛期，「每個月都重複著一樣的事，和數以百計的潛在客戶聊天，試圖找到最適合的實踐方法。」當時正逢新冠病毒（COVID-19）肆虐，Twelve Labs的成員只能從線上連線美國，「一切都發生在Zoom，為了配合西雅圖的工作時間，我們總是從凌晨1點通宵到上午8點。」
跨過韓國和美國之間的時差，Twelve Labs不只找到市場，也成功找到有力的投資後盾。
目前，約有4萬名開發者使用Twelve Labs產品，來自球團、內容創作者、製片商和政府部門等。鄭振宇分享，其中一個客戶是楓葉體育和娛樂公司（MLSE），擁有數支橫跨冰球、籃球和足球等競賽的職業球隊，是全球最具規模的休閒娛樂公司。
祭2模型讓AI「懂吃」，挾K-Pop軟實力搶灘
2024年，Twelve Labs在A輪募資也大有斬獲，獲得來自輝達（NVIDIA）旗下的NVentures、New Enterprise Associates、SK Telecom和Databricks Ventures等投資人，總共8,000萬美元（約新台幣26.3億元）資金。
這股被看好的底氣來自於Twelve Labs開發的2種模型。
Twelve Labs運用多模態AI（Multimodal）作為基礎模型，這種模型能同時學習圖像、文本、語音，這助力Twelve Labs開發旗下Marengo和Pegasus模型。
Marengo用於將影像轉換為AI可以理解的向量格式，讓使用者能輸入關鍵字查詢特定片段；Pegasus則是影像轉文字的模型，可以自動從影片生成總結、逐幀敘述、問答等文本，鄭振宇表示，Pegasus就像為影像而生的ChatGPT，「藉由影像標記，使用者可以進行問答或找尋精采內容。」
簡單來說，Twelve Labs提供的模型結合了影片搜尋和文字生成功能，以烹飪內容為例，可以直接從素材庫裡搜尋「宮保雞丁」片段，並詢問AI這道料理需要哪些食材。
鄭振宇補充，Twelve Labs的模型正是物理AI（Physical AI）的基礎，該技術希望AI能夠感知、理解現實世界，並執行複雜的行動，「物理AI需要理解的空間概念，幾乎都在影像之中。」
在鄭振宇看來，影像正是韓國能大展身手的領域。
目前Twelve Labs在美國舊金山和韓國首爾各設立一個總部，「相較美國，韓國在影像產業占有優勢。」鄭振宇表示韓國擁有良好的研發生態系，還有蓬勃的娛樂產業，「K-pop當然是其中一環，我們因此有很強勁的消費群體。」
鄭振宇表示，Twelve Labs目前會先深化技術，專注於企業客戶，隨著模型縮小化，以及邊緣裝置運算能力提升，中長程目標也會將產品推向消費端市場。從12人出發，這艘從韓國開航的小船，還在破浪前行、參與橫跨全球的AI海戰。
Twelve Labs
創辦人暨執行長：Jae Lee
主要業務：AI影像標記和搜尋
投資人：NVentures、New Enterprise Associates及SK Telecom等；總募資金額1.07億美元（約新台幣35.1億元）
責任編輯：謝宗穎
