訓練AI模型,要多少數據?拆解企業人工智慧專案為何難落地
訓練AI模型,要多少數據?拆解企業人工智慧專案為何難落地

企業的AI專案在釐清問題本質、找到命題之後,首先會面臨到一個問題:收集數據(Data Collection)和建立AI模型(Model Establishing),該以什麼作為評估基準?

AI模型
圖/ 若水國際

訓練一個AI數據模型,需要多少數據?

訓練AI數據模型時,其實有三個要素,彼此互相影響。分別是: 商業問題的複雜度AI模型複雜度 (Model Complexity),以及 數據複雜度 (Data Complexity)。

因此,如果想知道需要多少訓練數據(Training Data),建議先釐清:這個AI專案到底要處理什麼問題,以及這個問題有多複雜?確定之後,再來判斷應該選用哪種程度的模型來做訓練。根據不同的商業命題複雜度,用不同複雜度的模型和精準數據彼此搭配,找出最佳平衡,才能讓AI專案順利落地。

但光憑想像,很難評估實際的AI數據量和成效,所以開始AI的第一步,需要先透過POC概念驗證(Proof of Concept)實驗來找答案。

AI模型
圖/ 截圖自YouTube

AI模型的POC概念驗證實驗怎麼做?

簡單來說,就是針對不同複雜程度的商業問題,嘗試選用不同複雜度的模型搭配測試,直到模型跑出來的曲線,符合理想目標。

一般狀態下,假設商業問題本身的複雜度很高,我們會預期要選擇複雜度較高的模型。但是如果數據量不足,那麼選擇複雜度較高的AI模型,反而會比用簡單的AI模型效果還差。(上圖左上、右上,分別代表複雜度10和複雜度50的問題,可以明顯看出複雜的模型曲線比較接近學習數據集(Dataset),但是在測試數據集上的誤差 Eout,反而比簡單模型還差了許多。)

上圖的左下和右下,是以不同複雜度的模型去做POC,跑出來的結果曲線圖。藍色線代表的是學習數據(Training Data)成效,紅色線代表的是測試數據(Testing Data)成效。最理想的POC目標,應該是兩條曲線很貼近彼此,而且位置越低越好。

我們會發現,左下這張圖的兩條曲線雖然彼此貼近,但是就算增加數據,也無法降低誤差。這表示模型偏誤(Bias)高,效果不佳,應該要增加模型複雜度 (Model Complexity)。

增加模型複雜度之後,就會像右下這張圖,藍色曲線(學習數據)雖然數值很低,但在學習數據不足的情況下(灰色區塊),紅色曲線(測試數據)卻「飄」得太高。這表示模型變異誤差(Variance)高,應該要增加學習數據。最後在慢慢增加模型複雜度以及學習數據之後,我們就可以達到理想的結果(兩條曲線很貼近彼此,而且位置越低越好)。

數據哪裡來?發展AI人工智慧之前,先建立數據流

先前我在文章裡提到,很多企業會急著開發AI模型,但AI專案落地經驗的三大關鍵之一,其實是先確認:是否已經準備好數據了?如果沒有這樣的能力,談AI落地其實有點好高騖遠。

軟體人才_軟體開發設計_軟體工程師_(來源shutterstock)_401334640.jpg
圖/ shutterstock

AI數據收集(Data Collection)最大的挑戰,在於針對不同型態的命題,會產生不同的AI數據需求,因此需要建立的「數據流」(Data Pipeline),AI數據處理 (Data Processing)和數據標註(Data Annotation)的模式及流程也會有所不同。

發展AI之前,如果能建立起從數據收集(Data Collection)、數據處理(Data Processing)到AI模型學習的數據流(Data Pipeline),並確保可以順暢運行,實際訓練AI模型時才會省力很多。

數據不夠或太多怎麼辦?

Google開設的機器學習(Machine Learning)課程中,第一項原則就開宗明義地指出:「Don’t be afraid to launch a product without machine learning」。

如果你的產品或業務不一定需要用到機器學習(Machine Learning),那就別用,除非你有AI數據。有數據,再來談機器學習(Machine Learning)。但在業界的實際狀況,大家不是沒有數據,而是只有一些些,這時候該怎麼辦?我會建議,先從小地方開始做起,也就是從POC專案著手。

POC專案要有具體成效,除了要注意設計專案、實驗模型的指標(Metrics),企業最重要的是要先定義清楚:AI專案要達到什麼樣的指標,才算是成功?這樣最後做出來的成果,才會真正符合商業目標。

如果今天不是沒有AI數據,而是數據很多,又該從何下手呢?

我建議,嘗試減少訓練AI人工智慧時的「 數據大小 」和「 數據筆數 」。

過去曾經處理過一個AI專案,數據多達2億筆。第一次實驗,把數據全部餵進AI模型,取得結果。第二次,只拿其中有代表性的500萬筆出來訓練人工智慧。

猜猜結果如何?兩次實驗的表現,只差異不到1%。

所以,如果企業對於AI數據的品質和數量有一定程度的自信根據,其實不用把數據全部餵進AI模型訓練(Model Training),只用有代表性的AI數據來訓練就可以了。市面上很多常見的AI工具(Cluster),可以做到這點,幫助省時省力。

AI模型訓練,記得校準商業目標

企業發展AI人工智慧的最終目的,還是希望能 達到商業目標,創造價值

所以,訓練AI模型時,團隊如果不知道如何判斷哪個指標,對AI模型學習來說比較重要,建議回歸初心,重新釐清「 這個專案想達到的商業目標是什麼 」。

比方,趨勢科技(Trend Micro)要開發一個能夠判斷電腦病毒的AI,但是勒索病毒(denial-of-access attack)和廣告病毒對客戶的傷害程度大不相同。這時候,工程師就會針對這個命題,餵給AI模型不同病毒種類的數據,讓它學會判斷不同病毒的重要性,分辨出哪些病毒比較嚴重不能有判斷錯誤,而哪些病毒比較無害,不一定要做到一百分。

創業困境_突破難關障礙_overcome_shutterstock_521271766.jpg
圖/ shutterstock

最常見的訓練方法,是用成本函數(Cost Function)的方式,訓練完再回去調整AI模型的評分(Rating),用加扣分的方式,告訴機器它的學習表現是好是壞,做對就加分,做錯就扣分。

上述評分原則的制定,和企業的商業價值考量息息相關,所以一般在組織分工,會由PM專案團隊負責判斷哪些項目重要,請資料科學家設計在上述Cost Function裡面。

很多人以為,AI人工智慧開發要做到很完美才行,但其實根據我們的經驗,只要AI開發成本符合預算、AI模型表現可接受(大約做到60–70分),而且結果有助於降低成本,就可以算是達到商業目標。反過來,即使AI模型表現非常好(高達90分),但成本卻遠超出預算,就不建議執行。

另外,因為POC階段會做很多的實驗,需要拿兩個穩定且可以互相比較的基準做A/B Test,所以做好基礎建設非常重要。

如果一個團隊裡面有三位工程師,但三個人做出來的結果都無法互相比較,那麼這個實驗就會變得霧裡看花,導致AI專案難以落地。

AI數據小學堂:模型指標(metrics)

在做模型實驗時,通常會用混淆矩陣(Confusion Matrix)的四種指標:TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative),以及Count、Unique和Accuracy等等函數,來判斷這個模型的表現好不好。

P或TN值,代表模型辨識的答案正確,和預期結果一致。例如:模型正確判斷出「這是一隻貓」、「這不是一隻貓」。而FP或FN值,則代表模型的判斷錯誤,例如「明明是貓,模型卻說不是貓」、「明明不是貓,模型卻說它是貓」。

責任編輯:文潔琳、蕭閔云
本文授權轉載自:若水AI數據處理實戰攻略

往下滑看下一篇文章
從地下室到演唱會都不卡!台灣大哥大如何解鎖全場景、有感升級的5G體驗?
從地下室到演唱會都不卡!台灣大哥大如何解鎖全場景、有感升級的5G體驗?

5G開台邁入第五年,戰場早已從「誰有5G」轉向「誰的5G好用」。夜市、演唱會、地鐵、商圈——這些人潮洶湧、訊號最容易卡頓的地方,才是檢驗網路品質的真實考場。要打造真正有感的5G體驗,靠的不是技術名詞,關鍵在於能否把網路資源變成看得見、用得到的流暢速度。

台灣大哥大擁有最大5G黃金頻寬,以及高覆蓋率的NRCA載波聚合領先技術,為網路傳輸佈局暢行無阻的地圖,打通每一個收訊死角,再加上OpenSignal權威認證背書,不僅是技術成績站得住腳,更讓用戶日常生活使用有感提升。

全台獨家最大頻寬100MHz,讓5G跑得快又穩

要解析5G效能優劣,關鍵在於「頻寬」配置。頻寬就像道路的寬度,直接決定數據傳輸的承載容量。頻寬越寬,越能支撐大量用戶同時連線,確保下載、串流、直播等應用維持順暢體驗,避免因流量壅塞導致服務中斷。簡言之,頻寬就是撐起網路用戶體感的關鍵。

台灣大哥大目前在全球主流5G黃金頻段3.5GHz上,獨家取得全台最大100MHz頻寬資源,達到頻譜配置的頂規水準。實測結果顯示,在理想條件下,此頻寬配置可擁有高達2Gbps下載速率。

1216001092_53M.jpg
圖/ shutterstock

同時,台灣大哥大也已在全台超過2,000處熱點完成5G黃金頻段基地台升級。因此即使遇到夜市商圈、大型演唱會、跨年活動等高密度人流聚集場景,當用戶數量暴增、頻寬需求激增時,完整的基礎建設布局仍能確保訊號不中斷、網速不卡頓。

打通收訊死角,體驗有感不只是口號

除了速度與流量,5G還有一項棘手難題——涵蓋死角與訊號穿透力。特別是在室內深處、地下室等場域,即使該處已有5G涵蓋,實際使用仍有可能無法完全避免的卡頓或不穩狀況。

原因在於5G高頻段雖速度快,但穿透力弱,容易因手機功率有限而發生不穩定的情況。對此,台灣大哥大結合700MHz低頻段的穩定性優勢,以互補式的高低頻協作架構,強化訊號深度與廣度。換言之,在戶外大場景跑得快,在室內密閉空間也能收得到。

NRCA自動切換最佳頻段,上網不怕訊號塞車

台灣大哥大的核心技術優勢,還有NRCA(New Radio Carrier Aggregation)載波聚合技術;NRCA讓行動裝置能同時使用多個頻段上網,如同多車道高速公路,讓資料流在不同頻段間靈活切換,兼顧高速率與深度覆蓋率。當某一頻段出現壅塞,系統能自動將資料流量轉至其他頻段傳輸,以提升整體承載效率與傳輸穩定性。

自2021年率先佈建高低頻NRCA,目前已有超過六成基地台支援這項技術,有效壓縮延遲、提升連線穩定度、強化訊號覆蓋與穿透。此外,合併台灣之星後,台灣大哥大更將全球主流5G黃金頻段3.5GHz的60MHz與40MHz頻寬合併,打造業界最大100MHz,為全台唯一同時整合5G高高頻與高低頻NRCA的電信業者,在5G網路體驗與穩定度領先同業,達到頻譜配置的頂規水準。

隨著短影音、直播、雲端工作等即時傳輸需求爆炸成長,用戶對「穩定滑順」的網路依賴不斷提高。台灣大哥大領先的NRCA載波聚合技術,正好回應用戶需求,無論是在捷運上滑臉書,還是在人聲鼎沸的夜市直播吃美食,都能享受多場景流暢切換的優質5G體驗。

2334636029_63M (1).jpg
圖/ shutterstock

優質有感體驗,經國際權威OpenSignal認證

根據國際第三方認證機構OpenSignal於2025年6月公布的行動網路體驗報告,台灣大哥大在「可用率」、「5G影音體驗」與「整體影音體驗」三項用戶有感的指標上獲得第一名。所謂可用率,意指用戶隨時隨地都能連上網路,關鍵時刻訊號不缺席,不論身處室內或移動場景,都能穩定連線不中斷;同時,良好的影音體驗指標,則代表用戶在觀看影片、雲端會議或滑短影音時,能享有畫質流暢、連線穩定、不易中斷的完整體驗。OpenSignal向來以實測數據為依據,其認證結果可視為對 5G 體驗品質的權威背書。

今年第一季,OpenSignal也針對合併電信後的網路表現進行評比。自2023年底台灣大哥大與台灣之星完成合併後,其在涵蓋體驗的評分顯著提升,並在品質一致性指標上維持82~84%的穩定水準。相較其他合併案例,台灣大哥大是體驗提升幅度最大、整體穩定性維持最佳的合併業者,顯見其網路品質、營運韌性與整合效率。

5G技術是否能成為使用者真正信賴的基礎,關鍵在於能否在生活場景中「被感受到」。台灣大哥大以完整的頻寬資源、彈性技術架構與佈建策略,從速度到穩定、從戶外到室內,打造順暢5G體驗,可期待在這場長期5G競賽中,成為用戶最仰賴的行動網路選擇。

有關更多相關資訊,請查詢網站:https://www.taiwanmobile.com/content/event/nrca/index.html

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
電商終局戰
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓