「自動化」後的世界,到底哪裡需要人類?
作者: 尼可拉斯.卡爾(Nicholas Carr)

討論自動化時經常會跳出這個問題,有時運用了其他修辭或表達方式,但歸根究柢發問的內容都是一樣的。

如果電腦快速發展,而相比之下,人類的發展進程就相對較慢,人類笨拙且容易犯錯,那麼,為什麼不設計一個完美無缺、至臻至善的系統,不需要人類監控或干預就能獨立執行任務呢?為什麼不把公式裡所有的人類因素都剔除掉呢?

二○一三年《連線》雜誌刊登了一則封面故事,文中技術理論家凱文.凱利(Kevin Kelly)宣布:「我們要讓機器人來接班。」他以航空業為例:「電腦大腦—飛機自動駕駛儀能自動駕駛787噴射機,但是,我們卻要在駕駛艙裡安排人類飛行員,負責看管自動駕駛,做到『有備無患』,這是不合理的。」

Kk-2003
凱文.凱利宣布:「我們要讓機器人來接班。」(Source:wikipedia)

二○一一年爆出有人駕駛Google汽車發生車禍的新聞以後,某作家在知名的技術部落格上呼籲:「我們需要更多的機器駕駛員!」

針對芝加哥公立學校教師罷工事件,《華爾街日報》評論員安迪.凱斯勒(Andy Kessler)半開玩笑地說:「為什麼不忘了教師這回事,給四十萬○四千一百五十一個學生每人發個iPad或是安卓平板電腦呢?」

在二○一二年發表的一篇短文中,矽谷德高望重的風險資本家維諾德.科斯拉(Vinod Khosla)認為,當醫療軟體(他稱之為「演算法醫生」)不再只是初級護理醫師的幫手,而是經過不斷發展,已經可以用來診斷病情且完全取代醫生時,醫療事業將會取得長足進步。他寫道:「最終,我們不再需要普通的醫生。」自動化可以「醫治」我們這些不完美的自動化。

這個想法非常誘人,卻過於簡單了。

機器會遺傳製造者那容易犯錯誤的毛病。即使是最先進的技術,早晚也會出現故障、無法運行。而在運行過程中,電腦系統可能會遇到許多設計者和工程師都沒有預料到的情況,這時,演算法就會受困其中,無從入手。

在二○○九年年初,大陸連線在布法羅墜機前的幾個星期,美國空中巴士A320飛機在從紐約拉瓜迪亞機場起飛的過程中撞上了一群加拿大飛雁,導致所有引擎都失去了動力。

機長切斯利.薩倫伯格(Chesley Sullenberger)和副駕駛傑佛瑞.斯基爾斯(Jeffrey Skiles)立即做出反應,冷靜果斷,經歷了令人備受折磨的三分鐘,成功將幾近殘廢的飛機安全迫降在哈得遜河面上。所有乘客和機組人員都獲救了。如果駕駛室裡沒有負責「照看」A320的駕駛員,這架搭載著最先進自動化技術的飛機將會墜毀,機上的所有人員都會遇難。

一架客機上所有的引擎都失去動力是很少見的。但是,在出現機械故障、自動飛行失靈、惡劣的天氣和其他意外事故時,駕駛員拯救整個飛機的事件卻並不罕見。

德國《明鏡》週刊(Der Spiegel)在二○○九年的航空安全特輯中寫到:

「一次又一次地,自動化飛機上的駕駛員總會遇到一些飛機工程師未曾預料到的、新的、危險的意外情況。」

其他領域也存在這個問題。許多新聞媒體都報導了Google Prius發生的嚴重事故。但是,我們不知道,自始至終,Google汽車和其他自動測試車輛都配有備用司機,他們要在電腦無法完成操作時接過方向盤。

Google_driverless_car_at_intersection.gk
Google汽車和其他自動測試車輛都配有備用司機,
他們要在電腦無法完成操作時接過方向盤。(Source:wikipedia)

按照政策規定,Google要求汽車在居民區街道上行駛時,都必須由人來駕駛;任何員工想要駕著Google汽車出去兜風,都必須完成嚴格的緊急駕駛技術訓練。自動駕駛汽車並不像它看起來的那樣完全不需要人類駕駛。

在醫療領域,醫護人員經常要推翻臨床診療電腦給出的錯誤指示或建議。許多醫院發現,雖然電腦開藥系統能降低分發藥品時的常見錯誤,但也會帶來新的問題。

二○一一年在某家醫院進行的一項研究表明,事實上,開藥實現自動化以後,重複開藥的情況反而增加了。診斷軟體也遠非完美。可能大多數時候,「演算法醫生」會給出正確的診斷和治療方案,但是如果你的各種症狀與電腦裡用於計算概率的備選檔案不符,那你就應該慶倖診室裡還有個人類醫生,他會覆核電腦的計算結果,並推翻電腦的診斷。

自動化技術變得越來越複雜,各項技術之間的關聯性不斷增強,軟體指示、資料庫、網路通訊協定、感應器和機械部件之間環環相扣、相互依存。各個系統對科學家所說的「連鎖故障」非常敏感,某個組成部件的失靈會引發大面積的、災難性的連環故障。

二○一○年,一組物理學家在《自然》雜誌上發表了一篇文章,稱人類世界是由一個個「相互依存的網路」構成的。「各種各樣的基礎設施,例如供水系統、交通、燃料和電廠」都通過電路或其他聯結方式關聯起來,這使得它們「對隨機故障極度敏感」。即使只有資料交換領域才存在這種緊密的連繫,一旦某一環節出現問題也會帶來非常嚴重的後果。

這種脆弱越來越難以識別。麻省理工學院電腦科學家南希.萊韋森(Nancy Leveson)在《建造一個更安全的世界》(Engineering a Safer World)一書中指出,對於過去的工業機械化,我們可以「全面計畫、理解、預測並保護各元件之間的相互作用」,在投入使用之前,系統的所有設計均需要經歷嚴格的測試,「而現代的、高科技系統再也不具備這些特性了」。

與它們的前輩相比,現代系統的「智力控制性」較低。所有的部件都能完美運行,但是一個小的錯誤或是系統設計的疏忽—數十萬行軟體程式中隱藏的一個小失誤仍然會引發嚴重事故。

電腦的決策和觸發速度快得驚人,這也加劇了風險。二○一二年八月一日早上那驚心動魄的一小時就恰恰證明了這一點。當時,華爾街最大的貿易行騎士資本集團(Knight Capital Group)推出了一個新的買賣股票的自動程式。但是這個先進的軟體程式存在一個缺陷,在測試的時候並沒有被發現。

程式一經啟動,立即引發了大量未授權的、不合理的交易,每秒鐘的股票交易金額達兩百六十萬美元。當騎士資本的數學家和電腦科學家找到問題源頭並關掉違規程序時,已經過去了四十五分鐘,這個軟體造成的錯誤交易金額高達七十億美元。

騎士資本最終損失了近五億美元,瀕臨破產邊緣。事件發生後的一週內,華爾街其他公司聯合起來為騎士資本提供資金支援,幫助其擺脫困境,避免了又一場金融業的災難。

當然,技術會不斷進步,問題也會得到修正。但是,完美無瑕只能是一種理想狀態,永遠都無法實現。即使人類可以設計並構建一個完美的自動化系統,這個系統還是要在一個不完美的世界裡運行。

無人駕駛汽車不會行駛在烏托邦的街道上。機器人也不是在極樂世界的工廠裡工作。還是會有大雁群和雷擊。我們堅信會建造一個完全自給自足的、可靠的自動化系統,這本身就是自動化偏好的最好證明。

不幸的是,不僅技術專家普遍堅信完美系統的存在,工程師和軟體工程師—設計系統的人也持這種觀點。

一九八三年,倫敦大學學院的工程心理學家立薩尼.班布里奇(Lisanne Bainbridge)在《自動化》(Automatica)雜誌上發表了一篇經典文章,他指出,電腦自動化的核心部分存在一個難題。

因為設計人員總是認為人類「不可靠且效率低」,至少和電腦相比是這樣,所以他們努力弱化人類在系統運行中的作用。人們最終淪為監控者,只能被動地看著電腦螢幕。而人類思維渙散是出了名的,他們絕對無法勝任監控者的工作。

對於人類警惕性的研究可以追溯到二戰時期,當時英國的雷達操作員負責監控德國潛艇,研究表明,即使人們特別積極主動,也無法將注意力停留在相對穩定的事情上超過半個小時。他們會覺得無聊,會開始做白日夢,注意力就會游離。

WAAF_radar_operator_Denise_Miley_plotting_aircraft_on_a_cathode_ray_tube_in_the_Receiver_Room_at_Bawdsey_'Chain_Home'_station,_May_1945._CH15332
The operator display of the CH system was a complex affair(Source:wikipedia)

班布里奇寫道:「這意味著,人類無法完成針對可能性非常低的異常情況的基本監視任務。」他補充說,並且人類的技能「如果不使用還會退化」,所以,即使是經驗豐富的系統操作員,如果他主要的工作僅僅是監控而不是行動,那麼他最終也會變得「經驗不足」。

隨著本能和條件反射能力的生疏,他很難定位或辨別問題,他的反應會變得遲鈍,需要花時間來思考,而不是快速、自動地做出決斷。加之喪失了態勢感知能力,專業技能的退化會增加犯錯的概率,這樣下去,早晚有一天,操作員會無法勝任自己的工作。

一旦發生這種情況,系統設計者又將進一步縮減操作員的任務,讓他們遠離具體的行動,這樣一來,操作員未來犯錯誤的概率又會增加。

有人猜測,人類是系統中最弱的一環,現在我們自己就將這一假設變成了現實。

這一切 看來非常美好, 自動化讓生活更加便捷。 但除此之外, 它還帶來了許多更深層次的、更隱密的影響。 科技所造成的疏離導致憂鬱症患者、自殺率上升; 「自動駕駛」 讓機師喪失反應能力, 製造出新型空難; 自動化最令人恐懼的部分, 就是它挑戰了我們熟知的倫理道德, 機器使人與現實完全分離, 只要按下按鈕就可讓敵人致命, 殺人因而變得容易了。 在追逐自動化的過程中,我們似乎從未告訴自己,夠了,該適可而止了。