好萊塢提點過我們，要擔心邪惡的機器人會試著來接管世界。確切來說，根據電影所演，魔鬼終結者將在 2029 年首次啟動，因此我們也許就剩個十來年了。史蒂芬．霍金（Stephen Hawking；譯按：英國天文物理學家）曾表示，超智慧是我們最大的生存威脅，他說得對嗎？
在這個星球上，我們是當下最有智慧的物種，其他所有的生命都要仰賴我們的善意來繼續生存下去。我們的命運會不會繼而就要仰賴這些優越、超智慧機器的善意？接下來所要談的問題就是，超智慧機器可不可能直接把我們消滅掉？它會不會成為人類的末日？
電影裡通常都把機器描繪得很邪惡。但無能為力似乎才是比較可能的風險，而不是心懷不軌。當然，我們必須考量到的可能性是，超智慧機器或許會在無意間使人類走入末日。而且可能發生這件事的情境有好幾種。
#點金術
第一種風險情境是，超智慧機器的目標或許會設計得很糟糕。邁達斯國王（King Midas）的希臘神話就闡述了這點。有人實現了他的願望，使他所摸到的一切都會變成黃金。但對於自己真正想要的東西，國王卻指定得很糟糕：他並不想要食物或女兒變成黃金。
有人可能會主張說，人工智慧已經在某些微小和不是非常危險的方面顯示出這點。舉例來說，在 2017 年由研究人員所通報的實驗中，他們教會了電腦去玩賽船的電玩遊戲《賽艇大亨》（Coast Runners）。人工智慧並沒有去完成比賽路線，而是學會了繞小圈去撞別的船，因為這樣所增加的分數比實際完賽要快。
由於超智慧機器這麼聰明，它達成目標的方式或許會把我們嚇一跳。假定我們要超智慧機器治療癌症。要做到這點，有一個辦法是把可能藏有癌症的宿主全部消滅掉，於是就使人類走入了末日。跟我們要它治療癌症時所想要的不盡相符。
類似的例子是以相當晦暗的看法來設想超智慧。假如我把治療癌症的差事交給你，你就開始殺人，我大概就會判定你並不是那麼有智慧。我們所設想有智慧的人是學過良好的價值，並懂得他人的苦難，尤其是敏感和感性的人。超智慧不是就該明智得恰如其分又有智慧嗎？
#到處都是迴紋針
第二種風險情境是，即使目標經過適當指定，或許仍會有不利的副作用使人類群體受害。凡是為一些電腦程式碼除錯過的人都知道，電腦在解讀指令時，一板一眼到有多令人氣餒。伯斯特隆姆所提出的著名思想實驗就是在探討這種風險。
假定我們打造出超智慧機器，給它的目標是要盡可能多做迴紋針。由於機器是超智慧，所以它會非常善於製造迴紋針。機器可能會開始興建愈來愈多的迴紋針工廠。到最後，整個星球都會變成做迴紋針的工廠。機器完全是奉命行事，但結局卻對人類不利。
此時伯斯特隆姆並非真的相信，我們會為超智慧訂出把迴紋針極大化的目標，尤其是隨著我們意識到這個特定目標的風險。選擇迴紋針的生產只是為了示範，連平凡、隨意與看似無害的目標，都有可能嚴重偏離。
跟邁達斯主張一樣，這是以相當糟糕的看法來設想超智慧。超智慧不是應該也要能了解沒有明訂出來的隱含目標嗎？對，是要製作很多迴紋針，但不要危害到環境。而且肯定不要危害到人類。
#他們還是我們？
第三種風險情境是，任何超智慧都會有跟人類群體的持續生存可能有所牴觸的子目標。假定超智慧有某個總體目標，像是增進人類的幸福或保護這個星球。你所能想像到任何像這樣的目標，幾乎都必須靠超智慧開發資源來讓它的舉動付諸實行。它也必須容許超智慧持續操作，好讓它能達成目標。
但人類可能會把機器關掉。此外，人類會去消耗用來讓超智慧本身的目標更好的資源。所以說，合乎邏輯的結論就是，超智慧會想要把我們消滅掉。如此一來，我們就無法把它關掉，或是去消耗運用在它的目標上可能會更好的資源。
自衛和攫取資源這些子目標，被美國電腦科學家史蒂芬．奧莫洪德（Stephen Omohundro）稱為兩股「基本的人工智慧驅力」。這樣的驅力是任何足夠有智慧的人工智慧系統都很可能會有的基本子目標。
在亞瑟．克拉克的《2001：太空漫遊》（2001: A Space Odyssey）裡，HAL 9000 電腦就代表了人工智慧在自衛驅力上或許是最為人所知的遠景。HAL 不惜一切企圖要阻止在發現一號（Discovery One）太空船上的太空人把電腦關機，於是就開始加以殺害。
其他基本的人工智慧驅力則是改善和創意。人工智慧系統十之八九會變得更有效率，在實體和運算上都是，因為這將有助於它達成其他一切可能會有的目標。而比較預料不到的則是，人工智慧系統十之八九會發揮創意來尋找新的方式，以便把目標達成得更有效率與成效。
效率並非壞事：它將有助於我們節省本身星球上的有限資源。但創意就比較是個挑戰了。它代表超智慧機器會不可預料。它會以我們可能沒預料到的方式來達成目標。這層風險到下一節會討論得更詳細。
#移動靶
第四種風險情境是，任何超智慧都可能自我修改，開始運作得有所不同，甚至是為自己指派新的目標。假如我們給它的目標是把自己變得更有智慧，尤其有可能會這樣。我們如何能確定，經過重新設計的超智慧機器依舊符合人類的價值？新系統或許會把原本某個無害的地方給放大，並可能對我們非常有害。
移動靶不見得只有超智慧，它在操作時所處的更大系統也是。我們在人類的體制裏就已看過這種現象：所用的名稱則是「使命偏離」（mission creep）。你決定派一些軍事顧問去越南，十年後卻有數十萬軍人在戰場上打一場贏不了的全面戰爭。
在人工智慧的脈絡裏，這個移動靶的問題，已經以平凡無奇和不大有害的方式觀察到了。2008 年時，谷歌推出了谷歌流感趨勢（Google Flu Trends）。它成了把大數據運用在社會公益上的典範，在預測全球流感季的時間上，比以往的方法更有效。
谷歌流感趨勢是用谷歌搜尋（Google Search）的查詢內容來預測，流感會在什麼時候和什麼地方變得流行。假如某個地區有很多人開始問谷歌「喉嚨痛要怎麼治療？」以及「發燒是怎麼回事？」那流感或許就要開始擴散了。但在 2013 年時，谷歌流感趨勢卻直接停止運作。現在它則相當默然地從谷歌下架了。是出了什麼錯？
Google 流感趨勢（GFT）透過分析 Google 關鍵字查詢，試圖預測流感爆發的時間點。圖為南非的 Google 流感趨勢數據（Source：Wikimedia）問題就出在谷歌搜尋和它所處的人類生態系（ecosystem）是移動靶。谷歌搜尋變得愈來愈強。這樣的改善有部分在於，使用者甚至在查詢詞條完全鍵入之前，谷歌就會建議查詢內容。這些改善儼然是用偏見去引導民眾如何使用谷歌搜尋，進而損及谷歌流感趨勢的運作能力。把谷歌搜尋變得更強後，我們也把流感疫情變得更難預測了。
#無感
第五種風險情境是，任何超智慧都可能對我們的命運完全無感，就如同我對某些較低智慧生命形式的命運無感。假如我在蓋新廠，對於滅掉了路上的蟻群，我不見得會特別擔心。我不會特地把螞蟻給滅掉，但牠們正好就在我的工廠預定地。同樣地，超智慧不見得會對我們的生存大為關切。假如我們正好妨礙了它的目標，我們可能會直接被消滅掉。超智慧並不是對我們心懷不軌，我們只是遭到了池魚之殃。
超智慧無感的危險是假定說，超智慧對人類群體無所依賴。我們可以不帶關切地滅掉任何群體，是因為把它滅掉不大可能會造成任何重大的副作用。但把人類群體滅掉可能會有一些嚴重的副作用，使超智慧會想要避開。誰要來提供超智慧所使用的基礎設施？在雲端執行的伺服器？驅動雲端的電力？把雲端連結在一起的網路？假如其中任何一項服務還是要靠人類，超智慧應該就不會對我們的命運無感。
同樣地，超智慧無感的危險，是假定超智慧不見得會對我們抱持家長心態。事實上，我並不確定「家長心態」在此是恰當的形容詞。由於它智慧高強，所以我們會像是它可能希望要保護的子女。但我們也會是它可能希望要保護的家長，以感謝我們使它存在。兩者都是超智慧不會對我們的命運無感的原因。
我們該擔心嗎？
這些生存風險有部分要靠超智慧非常迅速地衍生。假如這件事發生，我們就沒什麼機會看到問題出現並加以矯正了。但就如我們所見，假定不會有科技奇點的原因有很多。假如是這樣的話，超智慧就比較有可能是慢慢衍生，因為我們會費心把系統建造得愈來愈好。我的同事大部分都相信，超智慧要過好幾十年、甚至是好幾世紀才會降臨；假如他們說得對，我們應該會有不少時間來採取預防措施。
知道在過去十年間，有聚焦於人工智慧安全性的研究社群成立，各位或許也會鬆一口氣。在特斯拉（Tesla）執行長伊隆．馬斯克（Elon Musk）千萬美元補助款的部分資助下，現在美國、英國和其他地方都有研究團體，在為我剛才所勾勒出的這種風險尋求技術上的解決之道。我還滿有把握，憑著這些努力，人工智慧不會很快就把人類消滅掉。
不過，我們並不能完全摒除超智慧所構成的生存威脅。但我們八成應該把注意力集中在比較眼前的生存威脅上，還有人工智慧所構成比較眼前的非生存威脅。而且對於人工智慧很可能不會是人類所面臨最大的生存風險，各位不需要聽我的一面之詞。
2017 年 9 月時，《泰晤士高等教育》（Times Higher Education）針對五十位諾貝爾獎得主做了調查，氣候、人口增長、核戰、疾病、自私、無知、恐怖主義、基本教義和現任美國總統川普（Donald Trump），在排名上對人類群體的威脅，都比人工智慧要大。
當人類把機器打造成跟我們一樣有智慧，從工作到家庭，從社會到政治，該如何想像這樣的未來？
人工智慧（Artificial Intelligence，AI）與機器人逐漸取代人類，我們面臨的不只是工作不保，以後我們甚至有可能會成為半人半機器的數位人 （Homo digitalis）。
本書作者是全球知名的人工智慧學者托比．沃爾許（Toby Walsh），根據他的預測，2062 年將是人工智慧影響人類最終命運的關鍵年。從工作到家庭，從社會到政治，現在我們做出的決定，將決定未來的樣貌，因此我們必須謹慎以對。
