上著班聊著天， Mark突然就被警察找上門了。
因為他的手機被發現有一張手機裡含有兒童性器官的照片，於是Mark被懷疑是一個針對兒童下手的性犯罪者。而且警方發現，這張照片居然來自Mark的兒子。
一個變態的戀童癖形象大概已經開始在你腦海裡構建起來。先別急著憤怒，事情很快出現了反轉。原來這張照片是Mark兒子生病後，為了讓醫生了解病情而拍攝的，而且Mark也從未公開發布過這張照片。
那麼警方是如何得知的呢，是Google 的AI系統檢測到了Mark Android手機裡的照片，並判定他為犯罪嫌疑人，轉而向警方舉報，並禁用了他的Google帳號。
在美國，Google全家桶的普及程度大概相當於中國的微信，也就是說Google這一番操作，直接讓Mark 從線上到線下全方位「社死」。
更為可怕的是，和Mark一樣被平台檢測到異常順便舉報的人，遠不止一個。
孩子線上問診的照片，讓他被認定為罪犯
Mark的孩子在學習走路時患上了腹股溝炎症。由於疫情嚴重，當時大部分人都在居家隔離，Mark 只能選擇線上問診，提供孩子腹股溝的照片，試圖幫醫生更好地做出診斷，醫生也根據描述的病情、展現的照片開出了處方。
但就是這些照片出了問題，Android手機裡的照片自動同步到了雲端，Google系統將這些照片識別為了兒童性虐待內容CSAM（Child Sexual Abuse Material）。
在被識別後，Mark的網路使用癱瘓了一半，因為他被封了。Gmail，用戶用來登錄其它平台的帳戶e-mail；Google Fi，用戶的行動虛擬運營商，打電話上網都用得上；Google Photos，再也無法使用，裡面有你家人的照片回憶，這些通通被封了。因為Google 覺得你涉嫌兒童性犯罪，所以封了你的帳戶順便「替你」報了警，平台封號後向國家失踪與被剝削兒童中心（NCMEC）提交了一份報告，這份報告引發了警方的調查。
10個月後，這位父親收到了舊金山警局的通知，他們根據Google提供的照片報告對他進行了全方位的調查。
為了更好調查潛在的兒童性犯罪嫌疑人，警方還向Google發出了搜查令，要求提供Mark所有帳戶訊息，影片、照片、位置數據、網路搜索報告等內容。對Mark來說，這真的是無妄之災，要是警察調查大張旗鼓一些，恐怕連工作都沒法做了。
好在仔細的調查後，警方確認了這位父親並不存在任何針對兒童的性犯罪行為。
這位父親很清白，但Google很死板。即便是提供了經過警方證實的無罪報告，也無法讓他成功向Google申訴找回帳戶。他曾經留在自己帳戶中的照片都已被完全鎖定，無法再看到。能看到的只有Google 的提醒- 你的賬戶因含有嚴重違反Google 政策且可能非法的有害內容而被禁用。
申請解封是沒有用的，你只能換信箱、換電話，在數位世界從頭開始。《紐約時報》報導了這樣兩個普通用戶，他們都為孩子網上問診拍攝了兒童性器官相關的照片，從而被判定違規封號，直到今天都無法找回自己的帳號。
他們甚至不是特例。2021 年，Google向NCMEC的CyberTipLine（舉報兒童性侵項目）報告了621583起案件。NCMEC則向當地執法部門公告了4260名潛在受害者，請求警方協助調查，在這些孩子受到進一步傷害時解救他們。
聽上去是一個技術及時制止犯罪、預防犯罪的好故事，但當這個名單裡包含和Mark孩子一樣只是問診的未成年時，就是「抓住一千，也錯抓一個」的悲傷故事了。
在所有技術偵查領域中，唯有兒童性犯罪例外
只是雖然有錯抓，Google明顯也不打算改。不僅不解封經過警方認證的清白用戶賬戶，也不打算停止這個會有缺陷的審查機制。
Google發言人Christa Muldoon就表示：「我們遵循美國法律定義什麼是CSAM，並使用哈希匹配技術和人工智能的組合來識別它，再從我們的平台上刪除它。我們的兒童安全專家團隊會審查標記內容準確性，還會諮詢兒科醫生確保我們能夠識別用戶可能尋求醫療建議的情況。」
問題在於，Google的審核團隊並沒有醫學專業背景，在審查每個案例時也不一定都會諮詢專業的兒科醫生。所以錯判在這個過程中可以說是難以避免的，唯一能夠降低這種錯判影響力的只有專業機構的判定和執法機構的二次審查。
但對於被誤判的人來說，這真的是無妄之災。因為這種誤判，你的重要帳號被鎖了，因為這個判斷，你被警察調查了；因為這些錯判，身邊人看你可能也會戴上有色眼鏡。
電子前沿基金會EFF的技術項目主任Jon Callas對媒體表示，Google的做法是有侵入性的。「這正是我們都擔心的噩夢——他們要掃描我們的家庭相冊，然後我們就會遇到麻煩。」
但這不是Google才會遇到的問題，因為幾乎所有科技巨頭在關乎CSAM內容時都有異常積極的行動。Amazon和Facebook和Google一樣有人工智能+人工的審核機制，發現有嫌疑的用戶業餘酌情刪除或禁用URL、圖像、聊天功能，嚴重的封禁帳戶。2021年，亞馬遜也向NCMEC提交了33848份CSAM報告。至於隱私問題，在這個技術打擊犯罪的故事裡似乎被忽略了。
在捍衛用戶隱私的故事中，蘋果拒絕「協助解鎖」的故事最讓人印象深刻。
當時美國福利機構內發生了一起嚴重的恐怖襲擊槍擊案，兇手在逃亡途中被擊斃。警方在調查中發現兇手與中東「伊斯蘭國」極端組織通過手機的加密通信進行聯繫，只是由於手機設有密碼，法院也只能要求iPhone生產商蘋果公司協助政府解鎖。但蘋果公開宣布拒絕遵行這道命令，理由是為了保護用戶隱私：「如果政府動用《所有令狀法案》讓解鎖iPhone變得更容易，它就有能力侵入任何人的設備並取得其數據，政府就可以延伸這種侵犯隱私的做法。」
但即便是在義正嚴辭拒絕過解鎖用戶iPhone的蘋果在兒童性犯罪領域也不是沒有動搖過。和Google一樣，蘋果也想過使用一種新工具掃描用戶的iCloud照片，它會匹配NCMEC已有的圖像數據庫，如果發現了足夠多的相似圖像就會移交給操作員進行檢查，繼而通知NCMEC。
蘋果當時還計劃推出一項新的iMessage功能，旨在「當(孩子) 接收或發送色情照片時，提醒孩子和他們的父母」。13歲以下的兒童接收或發送圖像會向父母發出警告，而所有兒童用戶在即將接收、發送被懷疑的色情圖片時也會收到警告通知。
這個變化趨勢沒過多久就被叫停了，因為反對的聲浪實在太大。EFF認為這個新變化可能「為你的私人生活打開後門，所有iCloud照片用戶的隱私減少，而不是改善。」就連斯諾登也表示「不管本意有多好，今天可以掃描兒童色情內容，明天就可以掃描任何東西。」
蘋果最終擱置了圖片掃描部分的功能，但依舊保留了在家庭共享計劃中包含兒童帳戶的可選功能。家長可以選擇性為孩子開啟分析圖片是否有裸露圖像的功能，如若監測到裸露圖像還會進行模糊處理。
就連蘋果也想要在自己產品中加入CSAM識別功能，很大一部分原因是這屬於紅線——無論是對於普通用戶、執法機構，亦或是平台，它們對這件事的容忍度都極低。
這同時也意味著當你真的需要科技公司技術配合的時候，選擇兒童性犯罪案件先進行合作會獲得較多的民眾支持。
英國在線安全法案的更新就打算規定「用戶對用戶服務」提供商必須努力向國家犯罪局報告任何分享的兒童性剝削和性虐待內容。這項立法修正案明確規定，企業應開發能夠檢查訊息(包括端到端加密通話) 的軟件，以主動發現兒童性犯罪材料並向當局報告，否則將面臨制裁。
只是Google的故事則告訴我們，哪怕這個功能順利運行也有「錯殺」的風險，而每一次誤傷對於清白的用戶都會造成傷害。技術未必能夠解決所有的問題，我們熟悉的人工智能、算法在面對棘手的社會問題時依舊過於「單純」，很難依靠單一的技術去發現潛在或已經發生的犯罪。
技術的介入甚至可能給原本艱難的環境帶來新的問題，並不是初衷是好的就一定會有好的結果。畢竟有時候，通往地獄的道路往往由善意鋪就。
本文轉載授權自：愛范兒
責任編輯：黃翊禎、錢玉紘
