【黑貘來說】 挖掘巨量資料的秘密步驟
【黑貘來說】 挖掘巨量資料的秘密步驟
2013.03.26 | 創業

現在已經有太多的報導說某某公司利用使用者的行為記錄,來算出每一個人的喜好,並且導出商機等等新聞到處可見,但我相信大家看再多次,不是覺得這樣會不會太可怕了?不然就是這好厲害阿!這兩種答案,不然就是兩種都有。

但事實上這件事並不神奇或可怕,會覺得這樣是因為大部份的人不知道怎麼做,或者是說這能夠做甚麼,若是你知道後,發現這跟本只是個套來套去經過計算的結果,甚至在某方面你用手來算都可以,只是不一樣的是人只能處理少量資料,而電腦可以處理巨量資料,當很多事情會有量變產生質變的時候,威力就在此顯現,但這些步驟,說穿了一點都不聰明,甚至還非常的機械化的制式。

當然我不是很好的深入淺出的作者,所以沒辦法寫給大多數的讀者看,而是寫給已經有一點實務經驗的人,尤其是程式設計師或資料庫管理師等工程師,但若沒有這技術背景,我相信做這樣的拆解,可以讓大家從一知半解變成知道個大概,而透過這樣的了解,讓大家有機會去應用是我寫這幾篇的目的。

只是還有一個前提,就是我不會在這邊寫資料探勘的基礎,也就是說,「請先去看本資料探勘的書」,再來看下面幾篇文章吧。

目標:能夠知道某個特定人喜歡甚麼東西,購買每一個商品的機率,或者是說我們該如何推薦商品給他,以及知道他喜歡這商品的原因?

人與商品之間的行為有下面幾種:

  1. 瀏灠
  2. 放入清單
  3. 購買
  4. 評價或評論
  5. 其他

    上面每一種行為都有其數量化的差異,有些是一年幾次,幾十次或到幾百次或更多,而每一個行為都可能有個 「權重 (Weight)」,以及時間 (Time) 與次數 (Times) 的屬性,甚至更有可能是一個 Vector (向量) 的指標,例如喜好、觀感等等,無論是可以量化或不能量化,這些都可以成為建立人與商品的「關連」。

    所有的資料探勘系統實作都是從這些資料做轉化,甚至是簡化,畢竟可以運算,以及算得出結果才是重點,甚至是能夠算給所有消費者顧客使用才是資料探勘的精隨。

    但有趣的事是很多實用的系統都很少是用單一方法去建構出來的,畢竟除了人的行為之外,商品有有幾個屬性:

  6. 商品本質、內容

  7. 商品描述 (meta-data) 與分類
  8. 最後才是商品的使用

    在還沒有 Semantic Web 之前, 我們能用的就是商品的使用,也就是我們使用者/消費者與商品/物品之間的關係,而在有了語意網路之後,我們就可以進一步的處理本質 (文化商品) 與描述了,只是在這之前還要有幾個前置作業。

  9. 會自動化新增關鍵字詞的表

  10. 會自動化連結出語意網路的表

    這兩個表若是可以扣掉前面「會自動化新增/連結」 的話,我相信很多人都有從很多單位去取得這樣的詞庫與關連庫,但在實務上我們有絕大部份的狀況都是在處理運算最新的商品或議題時,沒有一種機制能夠新增或更新的話,幾乎是不實用的。

    只是這新增/更新有時不見得是自動化,因為自動化是件相當困難的事,就我所知有不少在做這項業務的公司單位,用的就是「工人智慧」,而不是人工智慧,但無論如何,有了這兩個表之後,再加上從資料探勘能夠得知的:

  11. 關連分析 (一階, 或高階)

  12. 群落分析 (Clustering)
  13. 時間序列預測

    有了上面三個很基本的工具後,可以配合產出很多的可能性:

  14. 最常見的關連購買

  15. 在搜尋結果中做排序
  16. 從分類結果做語意分析產出因子
  17. 有了高階的關連分析可以透過配對做活動
  18. 從銷售預測中作備品或庫存準備
  19. 只要你想得到的

    當然上面說得很簡單,好像是三兩天就可以開發出來的東西,但事實上單單一個「會自動化連結出語意網路的表」,我記得當時就弄了兩三個月才弄出來,當然現在再弄一次就只須要兩三天到兩三個星期了,畢竟有經驗跟沒有經驗還是差很多的。

    記得我在 5 年多前寫過 Data Mining 是一個須要跟效率挑戰的高度技術的事,但現在的機器已經比 5 年前快 5 倍了,加上資料庫的多樣性,雲端系統的完善,讓寫這樣的系統跟之前簡單不只 5 倍,我在兩個月以前自己從無到有又自己跑一次,以前須要半年的現在只要半個多月就夠了,想想時代還真可怕阿。

    所以說,在這樣成熟的時機而言,導入真正的巨量資料探勘已經不是預算的問題,也不是技術的問題,而是心態的問題了,你準備好了嗎?

轉自[黑貘來說](http://gene.speaking.tw/2013/03/blog-post_20.html)
關鍵字: #大數據
往下滑看下一篇文章
【經濟部中小及新創企業署綠色科技加速器】臺灣循環經濟的下一躍 !六家新創串聯從廢棄物處理到行為改變的永續價值鏈
【經濟部中小及新創企業署綠色科技加速器】臺灣循環經濟的下一躍 !六家新創串聯從廢棄物處理到行為改變的永續價值鏈
2025.12.17 |

在臺灣,每年產生超過1,300萬噸有機廢棄物、數百萬噸農業剩餘資材,加上日益嚴重的光電廢棄物與一次性餐具問題,傳統「用完即丟」的線性經濟模式已經遇到瓶頸與挑戰。循環經濟的核心也不再是「減少浪費」,而是「重新定義廢棄物」,當廚餘能轉化為土壤碳匯資材、稻殼和鳳梨纖維能變身再生貓砂、光電廢料能升級為綠色設計產品、一次性餐具能被循環系統取代,「廢棄物」將不再是難題,而是寶貴資源。

根據《2050臺灣循環經濟路徑圖》的數據揭露顯示,臺灣綠色科技的總附加價值約為新台幣5,120億元,當中以循環經濟1,688億元貢獻最大,更帶來超過10萬個就業機會。面對2050年淨零目標,臺灣設定了明確的循環經濟願景:資源生產力翻倍、人均物質消費量降至每人每年6至7公噸、循環利用率提升至2.5倍。同時,環境部也已盤點出紡織、生物質、塑膠與包裝、建築與營建、高科技與電子產品、能源設施與關鍵物料等六大優先示範產業,大力推動循環經濟轉型。

有鑑於此,工研院產業服務中心執行的綠色科技加速器積極透過減碳輔導、實證場域驗證和國際市場拓展,全方位賦能新創團隊,促進新創與產業共創,成功躍上國際舞台。並從循環經濟的概念出發,協助新創團隊從廢棄物處理到資源化、從綠色設計到消費模式改變的完整價值鏈,讓他們不只解決環境問題,更創造多贏共好新的商業模式。

處理、升級、負碳,臺灣新創用科技重寫廢棄物的價值公式

在循環經濟的價值鏈中,「廢棄物處理與資源化」是關鍵第一步。從AI驅動的智慧處理系統、農業剩餘資材高值化,到生物炭創造碳匯,新創團隊正在重新定義並賦予「廢棄物」新價值。

台灣生物循環科技:把有機廢棄物變減碳資產,用AI做有機廢棄物循環解方

1.台灣生物循環科技團隊成員.jpg
台灣生物循環科技團隊成員。
圖/ 台灣生物循環科技

廚餘、食品加工污泥等可生物分解的有機廢棄物,傳統處理往往需耗時3個月以上,且伴隨惡臭與高昂的管理成本,成為事業單位揮之不去的痛點。台灣生物循環科技的兩位創辦人許祐祥及洪書群試圖打破此困境,提出「微生物低碳轉換」的全解決方案。團隊自主研發的「iCS智慧發酵系統」,導入AI演算法與自動化感測技術,能依據廢棄物狀態最佳化微生物發酵參數。這項技術將處理週期大幅縮短至6天,處理效率較傳統提升近25倍,更因製程無須加熱,能源消耗較乾燥系統降低65%。目前,該系統已在南部大型示範場域落地運轉,每日協助客戶處理數十公噸的有機廢棄物,證實具備工業級規模量產穩定性。

加入綠色科技加速器後,團隊進一步將技術與效益轉譯為資本市場重視的「減碳數據」。經盤查測算,將其產出的再生肥料用於農業種植,每公頃約可減少1,300公斤二氧化碳排放,成功讓有機廢棄物從環境負擔翻轉為綠色資產。展望未來,台灣生物循環科技共同創辦人許祐祥也透露,團隊已啟動規劃第二個規模化的處理據點,目標能成為協助企業全面解決有機廢棄物問題,打造負碳的永續淨零解方,同時成為永續農業供應鏈淨零轉型的關鍵夥伴。

連橫生技:從廢棄物到高值材料,以「再定義經濟價值」實踐循環永續

2.連橫生技.JPG
連橫生技回收廚餘轉肥料,讓農業資材變貓砂。
圖/ 連橫生技

「循環經濟的關鍵字是『經濟』,而非循環。」連橫生技創辦人蔡瀚霆(Steven)一語道破產業痛點。他指出,傳統農林廢棄物轉化為肥料或飼料,往往需經高耗能乾燥製程,終端價值卻僅剩個位數。為此,連橫生技選擇了一條不同的路:將廢棄物轉化為高附加價值的「再生纖維貓砂」,瞬間將產值提升十倍以上。

不只賣貓砂,連橫更定位為「循環方案整合商」。團隊具備整廠輸出能力,其研發的有機廢棄物處理設備,更是目前全臺唯一通過政府驗收、成功上架共同供應契約的系統。加入綠色科技加速器後,連橫補足了關鍵的「數據力」。透過加速器的碳盤查輔導,團隊建立起完整的減碳計算公式,能精準告知企業客戶:「使用這批貓砂,能為供應鏈減少多少碳排。」讓永續數據成為品牌客戶最有力的行銷籌碼。展望未來,連橫生技不以貓砂為終點,正利用纖維技術優勢,跨足高門檻的「化妝品原料」市場,並計畫將鳳梨纖維的成功經驗橫向複製至其他農廢資材。從處理廢棄物到定義新資源,連橫生技正用高值化技術,把環保變成可規模化的生意。

光泰環能:以生物炭打造負碳材料供應鏈,為產業開啟減碳新路徑

3.光泰環能 彭總與山椒魚號.jpg
光泰環能總經理彭俊明與臺灣山椒魚號。
圖/ 光泰環能

當全球供應鏈深陷「碳焦慮」,光泰環能總經理彭俊明看到的是「負碳材料」的缺口。引進德國熱裂解技術,將中科園區的修剪樹枝與風倒木轉化為高價值的生物炭。不同於一般碳捕捉技術的高昂成本,光泰的連續式製程每日可產出一公噸生物炭,經換算,每生產一公斤生物炭,並經妥善應用,就相當於移除大氣中2.625公斤的二氧化碳,是臺灣首家獲得EBC(歐洲生物炭證書)認證的生物炭製造商。

「我們不只做農業改良,更要做工業材料的減碳軍火庫。」彭俊明利用臺灣強大的供應鏈優勢,將生物炭導入塑膠、混凝土等工業材料 。最著名的戰役便是協助知名行李箱大廠打造全球首款低碳行李箱,在維持強度的前提下添加30%的生物炭,成功驚豔德國市場 。然而,空有國際標準若無法對接國內法規,商業價值便難以變現。加入綠色科技加速器後,專家協助光泰環能釐清繁瑣的碳盤查規範,建立高、中、低三種計算情境,成功打通「國際認證」與「臺灣合規」的最後一哩路,讓下游廠商能名正言順地將減碳效益寫入ESG報告 。

展望未來,光泰環能瞄準東南亞充沛的農業剩餘資材,已佈局新加坡與馬來西亞市場。除了擴大產能,更鎖定當地龐大的製造加工業,計畫以生物炭替代傳統高汙染的「碳黑」。光泰環能正以臺灣為技術核心,向亞洲輸出這套點石成金的循環經濟方程式。

不只減廢,還要重塑市場,材料再造與循環服務的雙軸突破

當廢棄物被成功資源化後,下一步是如何將這些資源「循環設計」並應用到實際產品中。從電子廢棄物的材料升級、到循環餐具系統的建立,這兩家新創正在證明:循環經濟不只是處理廢棄物,更能創造新的材料價值與產業機會。

陸詰科技:用「偏光片煉金術」,把面板廢料變抗菌建材

圖/綠色科技加速器.jpg
宋文龍顧問訪視陸詰科技廠區指引減碳策略。
圖/ 綠色科技加速器

面板產業長年面臨一個棘手難題:含有鹵素(碘)的偏光片廢料,燒了會產生毒氣,埋了又佔用珍貴的土地資源。然而,擁有化學與電子雙重背景的陸詰科技總經理洪嘉圻,卻從中看見了「煉金術」。他利用獨家專利技術,將偏光片中的碘轉化為高效抗菌劑,並將 PET、TAC 等結構層轉製為建材緩衝材,一舉解決了廢棄物去化與石膏磚易龜裂的雙重痛點。

這項「轉廢為寶」的技術,具備驚人的成本競爭力。洪嘉圻指出,市售抗菌劑每公斤要價 1,200 至 1,500 元,但陸詰的回收再製成本僅需「幾十元」,極具破壞式創新潛力。目前陸詰已攜手臺灣知名石膏磚廠導入量產,並透過綠色科技加速器媒合,進一步將應用場景拓展至塑膠合板與輕隔間。以臺灣建材市場規模估算,不僅有機會能去化全台每年一萬噸的偏光片廢料,甚至有餘裕處理來自日韓的進口廢棄物。展望下一步,陸詰將戰線延伸至太陽能板回收。不同於傳統業者僅鎖定高價的鋁框與銀,陸詰瞄準被視為潛在高風險毒害的「含氟廢塑膠層」,將這燃燒後會產生世紀之毒戴奧辛的廢棄物轉化為能降低表面溫度約 20°C 的節能耐候的長期建材,將循環經濟的價值從「抗菌」進一步升級為「降溫」,為建築節能開闢新路徑。

循拾:做環保界的Uber,把可重複使用杯變成一套「可被管理」的城市系統

5.循拾之循環餐具產品圖.jpg
循拾之循環餐具產品實質減少廢棄物與碳排放。
圖/ 循拾

「就像 Uber Eats 不開餐廳,我們也不生產杯子、不洗杯子,我們做的是確保整個循環系統運作順暢。」循拾執行長蔡萁聿用一句話精準定義了團隊角色。面對電影院、球場等動輒數千人的大型場域,業主往往因清洗麻煩、管理成本高而對循環容器卻步。循拾的價值便在於「整合」,它串聯後端洗滌廠與物流車隊,並派遣人力或導入自動化設備指引回收,讓客戶只需專注本業,就能無痛導入循環機制。

目前,循拾已在新北的球場與電影院建立穩固據點,並延伸至臺北、臺南、高雄的餐飲聚落。以電影院為例,單一週末便能替代約3000個一次性紙杯。加入綠色科技加速器後,團隊針對企業最在乎的漂綠疑慮,建立一套嚴謹的減碳計算公式,並正將其開發為「線上即時工具」。未來客戶只需輸入使用量,系統便能自動結合洗滌耗能與物流碳排,產出可供 ESG 報告使用的減碳數據。展望2025年,循拾將迎來關鍵一役:預計導入臺灣某知名大型連鎖餐飲體系,藉此大幅提升品牌能見度。同時,團隊正優化供應鏈數據管理,透過導入車輛資料庫自動計算運輸碳排,致力於從「個體減廢」走向「系統性減碳」,讓循環經濟成為城市運作的標準配備。

讓永續回到生活現場,從技術創新走向全民參與的價值循環

循環經濟的最終目標,是改變消費者的行為模式,讓永續成為日常生活的一部分。市民永續透過「全民碳集」平台,將日常永續行為轉化為可累積的個人資產,從根本上激勵民眾參與循環經濟。

市民永續:把日常永續行為,變成真正可累積的個人資產

6.市民永續.jpg
市民永續團隊成員。
圖/ 市民永續

「消費者才是決定永續轉型的關鍵。」市民永續執行長林庠序一語道出創業初衷。傳統企業砸大錢辦淨灘,往往只能觸及少數員工且難以量化效益。市民永續推出的「全民碳集」平台,則提供了一套數位化的解方:將民眾日常的自帶杯、搭乘大眾運輸等行為,透過區塊鏈技術轉化為企業提供的「現金獎勵」。更具破壞性的是,這筆獎勵金不只能提領,還能「錢滾錢」。

透過與全盈支付及群益證券的串接,使用者可透過合規的金融服務申請與委託設定將獎勵金直接投入定期定額的零股投資,讓環保行動真正累積成「個人資產」。這種將永續結合財富管理的模式,成功吸引新光人壽、臺灣票據交換所等13家企業採用,不僅解決B端ESG行銷成效難追蹤的痛點,更透過即時儀表板讓減碳效益一目瞭然。更在綠色科技加速器的協助下,市民永續進一步擴大數據生態圈,成功媒合運動數據平台,並打入國營事業供應鏈。展望未來,團隊已於12月前往馬來西亞與當地農業科技業者簽約,輸出這套臺灣經驗,協助建置當地的永續電商會員系統,朝向「全球永續會員中心」的願景邁進。

從廢棄物處理到資源化、從循環設計到行為改變,這些新創團隊的技術範疇涵蓋了循環經濟的完整價值鏈。他們不只解決環境問題,更創造可獲利、可規模化的商業模式。在工研院產服中心綠色科技加速器的協助下,本屆入選新創透過減碳輔導、實證場域驗證和海外市場拓展,成功躍上國際舞台,展現臺灣新創的技術實力。讓循環經濟不再是理想,而是臺灣正在實踐的永續未來。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓