主要的電腦廠商可以故意在程序中設置漏洞，以測試工廠的反應水平。通過故意關閉關鍵的生產設施，來驗證備用系統(tǒng)和冗余設計的：際工作狀況。當系統(tǒng)正在上線工作，為真正的客戶生產，這樣做似乎有！危險，盡管如此，這是唯一能夠測試巨大而復雜的系統(tǒng)的方法。小范圍測試和模擬反映不出系統(tǒng)的復雜性、抗壓水平，以及比擬真實系統(tǒng)故障意外事件。
埃里克·霍納格爾( Erik Hollnagel)、戴維·伍茲(David Woods)南希·萊維森( Nancy Leveson)是這個主題一系列有影響力的書的作者他們嫻熟地總結如下：
修補回復工程是安全管理的范例之一，關注于幫助人們在壓下成功應付復雜的環(huán)境以取得成功。它與現(xiàn)在典型的模式有巨大異——將差錯列成表格，好似一件事情，然后干預并降低其數(shù)量實施修補回復工程的組織將安全視為核心價值，而不是可以清算商品。實際上，在沒有發(fā)生安全事件時才能看到安全的影子！不要回顧過去的成功案例作為分配時間和精力的理由，實施修補工程的組織要持續(xù)關注于預測故障的潛在變化，因為他們深知自關于事故的知識仍有欠缺，而且周圍環(huán)境在不斷改變。對修補回工程的一個評價是預見的能力，即在故障和損傷發(fā)生前，預測風 的形勢變化。（摘錄已得出版方許可，埃里克·霍納格爾、戴維·茲、南希·萊維森，2006年。）
自動化的悖論
機器正越來越聰明。越來越多的工作可以完全自動化。隨之而來一種傾向，認為很多與人類控制相關的困難就要消失了?？v觀全球，交通事故每年造成數(shù)百萬人傷亡。當我們最后廣泛使用自動駕駛汽事故和傷亡概率將可能令人吃驚地大幅下降，僅僅由于自動化技術在工廠和航空領域增加了效率，同時降低了差錯和傷殘率。
當自動化系統(tǒng)工作正常時，好極了，但當它出了故障，其結果通常無法預計，也許會非常危險。如今，相較于沒有電力供應以前的家庭和商業(yè)，基于自動化和網(wǎng)絡運行的電氣設備極大地減少了工作時間。但是電網(wǎng)停止運行，也將影響大批的用戶，需要很多天系統(tǒng)才能修復。使用自動駕駛汽車，我預言會產生更少的事故和傷殘。但如果出了事故，將會是大事故。
自動化技術越來越強大。自動化系統(tǒng)能夠接手以前需要人來完成的工作。汽車的自動駕駛系統(tǒng)不僅僅維持舒適的溫度，自動駕駛可以讓汽車行駛在指定的車道，并與前車保持適當?shù)木嚯x。自動駕駛系統(tǒng)可以讓飛機從起飛到著陸自己飛行，或者讓船只自己航行。當使用自動化系統(tǒng)時，工作完成得比人還好。此外，它將人從枯燥乏味、令人厭煩的日常工作中解放出來，可以更加高效地利用時間，減少疲勞和差錯。但如果任務太復雜，自動化系統(tǒng)便應付不來。當然，此時往往卻是最需要它們的時候。自動化的悖論就是能夠執(zhí)行那些枯燥乏味、令人厭煩的工作，但是不能做太復雜的工作。
當自動化系統(tǒng)發(fā)生故障，經常沒有警告。我在自己的其他書和很多論文里非常詳細地梳理過這種狀況，很多在安全與自動化領域的人都有同感。當發(fā)生故障時，人“在系統(tǒng)環(huán)路之外”。這意味著人沒有太注意系統(tǒng)的運轉情況，人們需要一些時間才能注意到故障，評價分析，然后決定如何處置。
在飛機上，當自動駕駛失效，飛行員通常有相當長的時間了解狀況并做出反應。飛機飛得很高：地面上空一萬米（6英里），所以即使飛機開始下降，飛行員還有幾分鐘做出反應。此外，機組都受過很好的培訓。但當汽車的自動駕駛失效，司機恐怕只有幾分之一秒來避免發(fā)生事故。即使對于多數(shù)熟練的司機，這都非常困難，更何況很多司機并在另外一些狀況下，諸如船只，會有更多時間做出反應，但經注意到自動駕駛發(fā)生故障。有一個戲劇性的案例，在1997年，下”號擱淺。故障持續(xù)數(shù)日，只是在事故發(fā)生后才發(fā)現(xiàn)問題，那經觸礁，造成數(shù)百萬美元的損失。到底發(fā)生了什么？通常由全球 GPS)確定船的位置，但是將衛(wèi)星天線連接到導航系統(tǒng)的線纜不開了（沒有人知道是如何斷開的），結果，導航系統(tǒng)自動從使用轉入到“死循環(huán)”，即使用估算的速度和航行的方向來給輪船定設計導航系統(tǒng)時沒有將這個模式顯示出來。結果，當輪船從百豢的地波士頓時，太偏向南方，擱淺在科德角（Cape Cod，波士蛔突出的一個半島）。自動導航幾年來都工作得毫無瑕疵，人們信它，所以沒有人對它進行正常的人工定位，或者仔細分辨顯示烈[細小的字母“dr”代表“dead reckoning”船只定位故障模式]。
嚴重的功能狀態(tài)失效。應對差錯的設計原則
