複雑化する社会やシステムとヒューマンエラー その１～複雑化するシステムと密結合が起こす事故～
現代は様々なシステムが複雑化し、さらにシステムの中でそれぞれの機能が密接に結合しています。
そのため、些細な失敗が失敗の連鎖を生み、思いがけない事故になってしまいます。
小さな失敗と思いがけない事故
スリーマイル島原子力発電所事故
1979年3月28日アメリカ ペンシルベニア州のスリーマイル島にある原子力発電所で事故が起き、炉心溶融(メルトダウン)という重大な結果になりました。
きっかけは保全のために、2次冷却水系のイオン交換樹脂を交換したことでした。この作業中、弁を制御する圧力空気の経路に少量の水が混入しました。
これが原因で主給水ポンプ、復水ポンプが停止し、発電用タービンが緊急停止しました。
その結果、一次冷却系の圧力が上昇しました。そのため原子炉は自動的に核反応を停止（制御棒を炉心に全部挿入）しました。
しか原子炉内では崩壊熱の発生は続き、一次冷却系の圧力は上昇しました。そのためパイロット・オペレーション・リリーフバルブ（PORV）が自動的に作動し、一次冷却系の圧力を下げました。
ところがPORVは故障していました。PROVをオフするように信号が送られましたが、信号がオフになってもPORVの弁が開いたままでした。ところがPORVの弁の開閉を検知するセンサーはないため、計器盤が表示するPORVへの信号のオフから、誰もがPORVの弁は閉じていると思いました。
実際は、原子炉内の冷却水は高温になり、圧力容器内の水は激しく沸騰し気化していました。
これにより気化した蒸気の泡が水位計に流入しました。そのため、水位計は十分な水位を示すという間違った表示をしました。
こうしたことが重なり、オペレーターは炉内で起こっていることを正しく理解できませんでした。
こうした誤った情報から、オペレーターは炉内の冷却水が過剰気味と考えました。
そして緊急給水ポンプを停止してしまいました。PORVから蒸気の放出は続き、ついに原子炉内の炉心コア頂部が露出しました。そして水素の発生と燃料棒被覆の溶解が起きました。
午前6時にシフト交代がありました。交代したチームはPORV近辺の温度異常に気付きました。すぐにPORVのバックアップバルブを閉じましたが、この時すでに120,000Lの一次系冷却水が放出されてしまいました。
結局、炉心溶融（メルトダウン）により、燃料の45%、62トンが溶融ました。このうち20トンは原子炉圧力容器の底に溜まってしまいました。給水回復による急激な冷却によって、炉心溶解がさらに深刻化しましたた。
実際には、最初の配管トラブルと蒸気発生器への給水ポンプの停止から、原子炉内の圧力上昇、PORVの弁の固着とPORVの誤表示までは、わずか13秒の間でした。
その後10分以内に炉心の損傷が始まっていました。
この事故は、操作員のミスと、あとから振り返って初めてわかる「あとになってわかる過失」が重なったために起きた事故でした。
中華航空機事故
1994年（平成6年）4月26日に台湾発名古屋空港行きの中華航空140便（エアバスA300）が名古屋空港への着陸進入中に墜落し、乗員乗客271人中264人が死亡しました。この事故は、日本では日本航空123便墜落事故（死者520人）に次ぐ惨事でした。
事故の原因は、名古屋空港への着陸進入時に、副操縦士が誤って着陸やり直しスイッチ(ゴー・レバー)を押してしまったためでした。
副操縦士が知らない間に着陸やり直しの自動操縦モードになっていたのです。そうとは知らない副操縦士は、着陸のため操縦桿を押して機首を下げようとしました。しかし自動操縦モードは着陸やり直しになっているため機首を上げました。副操縦士がいくら操縦桿を押しても機種が下がらないため、機長は着陸は無理だと判断しました。そして着陸をやり直すため機首を上げようとした時、機体は突然急上昇しました。その結果失速し、墜落しました。
ボーイングに代表されるアメリカ製航空機は自動操縦装置について、「思いがけない事態が生じた際は、いつでも手動操縦に切り替えることができる」という考え方でした。事故機の副操縦士は、ボーイングの操縦経験が長く、このアメリカ製航空機の考え方に馴染んでいました。
それに対しエアバス社は、「人はミスを犯すものであり、それをコンピューター制御によって防ぎ、正しい操縦を行うことで安全性を高める」という考え方でした。かつてパイロットのミスによる航空機事故が何度も起きたため、エアバス社はこういう考え方になりました。
現代の航空機は、コンピューター制御と人の操作の領域が複雑に重なり合っています。その重なり方もボーイングとエアバス社で異なっています。
しかし航空機の操縦は、時には一瞬の遅れやミスが許されない場合もあります。その時、複雑な重なりは、致命的な事故になりかねません。
ひとつのミスが許されない「酸素容器の取り扱い」
1996年5月バリュージェット航空592便の機内で火災が発生、機は墜落しました。
原因は貨物室内にあった酸素発生装置が誤って作動し、貨物室内に酸素が放出され、この酸素が貨物室の火災を引き起こしたためでした。
この酸素発生装置は、バリュージェット航空の下請け整備会社セイバーテック社がアタランタへ飛ぶ592便の貨物に入れたものでした。しかし、酸素発生装置は輸送のための適切な処理がされていなかったのです。
【酸素発生装置の取り扱いルール】
航空機は非常事態の場合、乗客に酸素マスクを提供します。そのため、酸素発生装置(バルブのついた酸素ボンベ)を航空機は積んでいます。これは使用期限が来れば新しいものと交換します。交換した酸素発生装置の取り扱いは「期限切れ」「使用済みでない」の場合は安全キャップをつけなければならないルールでした。しかし、セイバーテック社の整備工は酸素発生装置の使用期限を区別していませんでした。
使用済みと期限切れの関係は表1のようになっていました。
表1 酸素発生装置の処理
| 使用期限 | 使用の可否 | 安全キャップ |
| 期限切れ | 使用済み | 不要 |
| 使用済みでない | 必要 | |
| 期限切れでない | 使用済み | 不要 |
| 使用済みでない | 必要 |
もし整備工がバリュージェット航空の作業命令書を読んで、
MD-80型機の分厚い整備用マニュアルの第35-22-01章「h」行から調べていたとしたら、
「酸素発生装置の保管または廃棄」に関する説明にたどり着いていたはずです。
そして、もしも丁寧に選択肢を検討してマニュアルをめくっていたなら、
「すべての使用可能/使用不可な(使用済みでない)酸素発生装置(容器)は、高温や損傷の危険にさらされない場所に保管すること」
を学んでいたはずです。
また、もしも括弧でくくられた「(使用済みでない)」の意味をじっくり考えていたのなら、
「(使用済みでない)」容器が「使用不可」な容器であることを察していたはずです。
しかもセイバーテック社は出荷用のキャップを持っていませんでした。
本来であれば、これらの酸素容器を安全な場所に移し、マニュアルに説明された手順に従って「起動されるべき(バルブを作動して酸素を解放)」だったのです。
ジャーナリスト兼パイロットのウィリアム・ランゲビーシュはこの事故に関して「アトランティック」誌に以上のように書いていました。
安全は、個人の注意力や能力、個々の装置の問題だけではなく、人や設備、運営を含めたシステムの問題も考慮しなくてはいけません。そのシステムが複雑で入り組んでいることが問題なのです。
正解に至る道筋がわかっていても、そこに至る道筋に
様々な分岐や選択肢があれば、正解にたどり着けるとは限らないのです。
さらに現代の事故の原因には、システム内での相互作用があります。
複雑さを増すシステムと密結合の危険
複雑さを増す現代のシステム
イェール大学チャールズ・ペロー氏は、航空機事故から原子力発電所や化学工場の事故を調査し、思いがけない相互作用が発生し小さな失敗が予期せぬ方法で組み合わさって大きな事故を起こすことに気が付きました。
このシステムの脆弱性を以下の二つの変数で表しました。
（１）線形系と複雑系
線形系の例 自動車工場の組立ラインなど製品が順に流れて作業を行うものなど
- シーケンシャルに進む
- 不具合が起きてもどこで発生したかすぐ分かる
- 影響が及ぶ範囲も明確であることが多い
複雑系の例 原子力発電所
- 入り組んだ網に近く、構成要素が相互に影響し合う
- サブシステムが多くの構成要素と結びついている場合が多い
- 一見無関係な要素が間接的につながっているため、何か問題がおきるとあちこちに影響する
- 問題を直接見ることができず、情報は断片的にしか入らない（これは双眼鏡で遠くを見て、足元を見ずに断崖絶壁の近くを歩いているようなもの）
（２）システム内のゆるみの大きさ(結合の強さ)
2番目はシステム内での構成要素の相互の結合の強さです。構成要素間にスラック(緩み)やバッファー(緩衝)がほとんどないものを密結合、スラックやバッファーがある程度あるものを疎結合と呼びます。
密結合と疎結合
構成要素間にスラック(緩み)やバッファー(緩衝)がほとんどないため、ひとつの構成要素の不具合が他に影響を及ぼしやすい。この状況を密結合といいます。
【密結合の例 原子力発電所】
ものごとを正しく行うだけでは不十分です。正確な量のインプットを決まった順序で、決まった期間内に行わなければいけません。失敗してもやり直すことはできず、代用品や代替品がうまくいくことはありません。
つまり、ものごとを正しく行う方法は一つしかない状態です。
いろいろなことがあっという間に起こり、問題を解決する間システムを停止させておくことはできません。
原子力発電所の核分裂反応の制御がまさにそうです。
核分裂反応は特定の条件がそろう必要があります。正しいプロセスからわずかに逸脱しても問題が起きます。問題が起きてもシステムを一時停止できません。核分裂反応は連鎖し独自のペースで進行し続けます。もし中断できても崩壊熱はその後も発生し続けます。そして過熱した原子炉には直ちに冷却水を注入しなければなりません。タイミングが遅れれば炉心融解に至りかねません。
【疎結合の例 航空機製造工場】
尾翼と胴体は別々に製造されます。片方に問題起きても、二つの部分を結合する前であれば修正できます。しかもどちらを先に製造しても構いません。何か問題が起これば、その部分の製造を中断すればよく、後から作業を再開できます。
これを図にまとめると以下のように表せます。
図１ 密結合と複雑な相互作用(「巨大システム失敗の本質」より著者作図)
郵便局や大学は疎に(緩く)結合しています。物事を正確な順番で行う必要はなく、問題を修復する時間も十分にあります。
ただ郵便局に比べて大学は入り組んだ官僚制機構です。非常に多くの部門と、部署、役職、規則、そし研究者や教員、学生、事務員などて様々な動機を持った人がいます。そのため相互の関係は複雑で予測不能な状態で結びついています。
ただし大学の場合は疎結合です。時間をかけて柔軟に問題に対応することができます。しかもある学部の問題は他の学部に影響することは稀です。社会学部のスキャンダルは医学部に影響を及ぼしません。
この結びつきの「固い」と「弱い」の違いを表2に示します。
表2 「固い」結びつきと「弱い」結びつきの比較
| 固い結びつき | 弱い結びつき |
| 作業過程における遅延は不可能 | 作業過程における遅延が可能 |
| 手順の順序は変えられない | 手順の順序は変えられる |
| 目標を達成する方法は1つだけ | 代替的な方法がある |
| 資材、装置、従事者における「たるみ」は少しだけしか許されない | 資材、装置、従事者における「たるみ」は許容可能 |
| 以上の緩和策や予備手段はあらかじめ周到に組み込まれている | 緩和策や予備手段はケースバイケースで用意できる |
| 資材、装置、従事者の代替は限られているか、あらかじめ用意しておくしかない | 資材、装置、従事者の代替もケースバイケースで対応できる |
危険なのはマトリックスの右上
ペロー氏は、システムがメルトダウンを引き起こすのは、複雑系と密結合の組み合わせと言います。
複雑系では小さなエラーは避けられません。そしていったん歯車が狂い始めるとシステムは不可解な兆候を見せます。手を尽くしても問題を正しく診断するのは容易でありません。時には間違った問題を解決しようとしてしまいます。そして事態をさらに悪化させます。この時、密に結合されていれば、倒れ始めたドミノを止められません。失敗は制御不能になってしまいます。
図2 潜在的な危険の大きい技術の破局性と代替可能性(「巨大システム失敗の本質」より著者作図)
ペロー氏はこの種のメルトダウンを
「ノーマルアクシデント(起こるべくして起こる事故)」
と名付けました。
ここでノーマルとは、頻繁に起こるという意味でなく、当たり前で避けがたいという意味です。
ペロー氏によればこのノーマルアクシデントは
「安全を期すためにどんなに力を尽くしても、(複雑な相互作用のせいで)複数の失敗の思いがけない相互作用が、(密結合のせいで)失敗の連鎖を招いてしまうような状況」
と定義しました。
こうした事故は
起こってはいけないことが起こったのではなく、
こういった複雑なシステムでは頻度は非常に低いが「起こるものである」
とペロー氏は主張しています。
金融 コンピューターによる高速取引プログラム
金融での複雑性と密結合
2012年8月1日、ニューヨーク証券取引所で製薬会社ノバルティスの株が乱高下しました。その結果、10分間で1日分の取引が行われました。しかも同様の不可解な動きがGMやペプシなど主要銘柄でも起きました。
原因は、大手証券取引仲介業者ナイト・キャピタルのシステムが誤発注したためでした。ナイト・キャピタルはまるで市場を相手に「手札を全部さらしてポーカーをしている」かのようでした。ナイト・キャピタルは、毎分1500万ドル強の損失が発生し、損失合計は5億ドルにも上りました。
密結合ではひとつのミスが命取り
2011年11月に個人投資家流動性プログラム(RLP)という新制度が導入されました。それに対応するため、ナイト・キャピタル社はプログラムを改修しました。RLPに対応するためのフラグを、以前は使用していたけど今は使用していない「パワーペグ注文」というフラグを使いました。すでにパワーペグ注文のコードは無効にしてありました。プログラマーはRLPに対応したプログラムを8台のサーバーに導入しました。ところが1台のサーバーはプログラムを入れ忘れました。
8月1日新しいプログラムが稼働すると、新しいプログラムをインストールしなかったサーバーは、RLPに対応したフラグを古いパワーペグコードと受け取り、パワーペグコードで決定した価格で注文を毎秒数百件の速度で出し続けました。しかもこの異常な注文は、システム画面に表示されず、誰も気づきませんでした。
ナイト・キャピタル社は、このたった1日のトラブルで破産しました。
こんなことは、原子力発電所や証券取引ぐらいで、自分たちには関係ないと思うかもしれません。
ところがシステムの複雑性と密結合は、今や私たちの身近なところにもあるのです。
複雑性と密結合の増す製品
ATMをハッキング
ホワイトハッカーで、セキュリティの専門家バーナビー・ジャックは、2010年ハッカーの年次国際会議でATMのハッキングをデモンストレーションしました。
車を止める
ハッカーのチャーリー・ミラーとクリス・バラセクは、「ワイヤード誌」の依頼でジープ・チェロキーのハッキングをデモンストレーションしました。チェロキーのエンターテイメントシステムに、モバイルネットワークから侵入し、車載コンピューターにアクセスしました。そして走行中の車のエンジンを停止させました。記事掲載から3日後、クライスラーはセキュリティの脆弱性を認め、140万台をリコールしました。
今ではこれまでオフラインだった自動車やATMがオンラインでつながっています。そのためセキュリティ上の脆弱性が増しました。加えてIoTでこれらの機器の上位システムともつながっています。今後、自動車、家電製品、工場内の設備など多くの機器もネットワークにつながり、相互に影響しあうようになっていきます。しかも私たちは途中過程を見ることができません。
システムの複雑性と密結合が強化され、思わぬ結果が起きる可能性は高くなっているのです。
一方、巨大な組織は、多くのメンバーが複雑に役割分担しています。こういった複雑な組織でも問題は起きます。
よい人がみんなで起こす悲劇
１９８６年１月、スペースシャトル『チャレンジャー号』は、打ち上げ７３秒後に空中分解しました。低温のため補助ロケットの接合部分を密閉する部品(Oリング)から燃料が漏れ爆発しました。Oリングメーカー サイコオール社の技術者ボイジョリーは低温での危険性を指摘し、打ち上げ延期を主張していました。
しかしＮＡＳＡの責任者は、『チャレンジャー号』の打ち上げが何度も延期されたこともあり、「気温１２度？ 春まで待てと言うのか！」と声を荒げました。
この事故についてアメリカの組織社会学D・ヴォーンは、関係者への聞き取りや関係文書の収集・調査を行いました。その結果、Oリングのリスクはサイコオール社だけでなくNASAでも共有されていることがわかりました。このようなリスクがあるのにも関わらず、正式な実験や安全審査の手続きを経て、打ち上げは決定されました。
つまり、この事故の真の原因は、はたから見ればルールや常識に外れたことでも、当事者たちはおかしいと思わず、当たり前のように振る舞っていたことでした。
しかもNASAのような専門的な業務は、高度に専門分化しています。担当者は自分たちの業務に長い経験を持つため、部外者には問題点分かりません。D・ヴォーンはこれを「構造的な秘密性」と呼びました。
これまでNASAは、NASAという組織の規則や慣習に従い、プロジェクトがうまくいくように取り組んできました。そのため、ボイジョリーのような部外者が直感で中止を訴えても、それは仕事の円滑な遂行を妨げるだけだとNASAは考えました。D・ヴォーンはこれを「逸脱の常態化」と呼びました。
これによる事故を防ぐには定期的に「外部の目」を入れます。今回の事例では、NASAやサイコオール社の別の部署の技術者に意見を出してもらうことです。同じ組織でも別の部署や異なる業務をしていれば「逸脱の常態化」に気づくことができます。
平穏無事に潜む危険
イギリスの心理学者・安全研究者 J・リーズンは、多くの組織で生産性と安全性のせめぎあいから、安全性が削られていると考えました。しかし大事故が起こるまでは平穏無事な状態です。そののため、小さなトラブルや軽微な事故が起こっても抜本的な解決はされないままでした。
図3 リーズンによる安全性の関係
こうした潜在的な危険を封じ込めるため企業は安全対策を重ねます。これは防護壁を何重にも張り巡らせている状態でか。これを「深層防護」と呼びます。リーズンは一見すると安全な深層防護の「平穏無事に潜む危険」が大事故を引き起こすと主張しました。様々な安全対策やルールによる深層防護壁も、実はヒューマンエラーやルール無視があれば穴が開いた状態です。これは図5のスイスチーズにたとえられます。
図4 防護と損害の相互関係
大事故が起きると「以前から問題があった」「いつか事故が起きると思っていた」という証言が出ます。その一方で7年間無事故など、それまでは安全に問題はありませんでした。これは防護壁が穴の開いたチーズであることを示しています。
図5 防護壁は穴の開いたチーズ
リーズンは、「高度な深層防護はシステムをより複雑にし、その管理者や運転者にとって、システムが不透明なものになってしまう」ことを指摘しました。
その原因は、組織の文化に起因します。
組織全体で安全を高めようとする組織文化を「安全文化」と呼びます。これは次の4つの要素からなります。
-
報告する文化
組織の中で安全に対する情報を積極的に共有する - 公正な文化
するべきこと、やっていいこと、してはいけないこと、この3つの境界線が明確で、これらを行った場合の顕彰や処分に対し構成員は納得している - 柔軟な文化
時と共に変化する要求や、危機の際の突然の要求にも、必要な役割や権限をすぐに調整できる - 学習する文化
現状に満足せず、経験や情報を活かして、ときには手直しもいとわない姿勢
では、この安全文化は具体的にはどのように取り組めばよいのでしょうか、これについては次の経営コラムでご案内します。
参考文献
「巨大システム失敗の本質」クリス・クリアフィールド、アンドラーシュ・ティルシック 著 東洋経済新報社
「科学技術の失敗から学ぶということ」寿楽浩太 著 オーム社
経営コラム ものづくりの未来と経営
人工知能、フィンテック、5G、技術の進歩は加速しています。また先進国の少子高齢化、格差の拡大と資源争奪など、私たちを取り巻く社会も変化しています。そのような中
ものづくりはどのように変わっていくのでしょうか？
未来の組織や経営は何が求められるのでしょうか？
経営コラム「ものづくりの未来と経営」は、こういった課題に対するヒントになるコラムです。
こちらにご登録いただきますと、更新情報のメルマガをお送りします。
（登録いただいたメールアドレスは、メルマガ以外には使用しませんので、ご安心ください。）
経営コラムのバックナンバーはこちらをご参照ください。
中小企業でもできる簡単な原価計算のやり方
製造原価、アワーレートを決算書から計算する独自の手法です。中小企業も簡単に個々の製品の原価が計算できます。以下の書籍、セミナーで紹介しています。
書籍「中小企業・小規模企業のための個別製造原価の手引書」
中小企業の現場の実務に沿ったわかりやすい個別製品の原価の手引書です。
基本的な計算方法を解説した【基礎編】と、自動化、外段取化の原価や見えない損失の計算など現場の課題を原価で解説した【実践編】があります。
中小企業・小規模企業のための
個別製造原価の手引書 【基礎編】
価格 ￥2,000 + 消費税(￥200）+送料
中小企業・小規模企業のための
個別製造原価の手引書 【実践編】
価格 ￥3,000 + 消費税(￥300）+送料
ご購入及び詳細はこちらをご参照願います。
書籍「中小製造業の『製造原価と見積価格への疑問』にすべて答えます！」日刊工業新聞社
普段疑問に思っている間接費・販管費やアワーレートなど原価と見積について、分かりやすく書きました。会計の知識がなくてもすらすら読める本です。原価管理や経理の方にもお勧めします。
こちら(アマゾン)から購入できます。
簡単、低価格の原価計算システム
数人の会社から使える個別原価計算システム「利益まっくす」
「この製品は、本当はいくらでできているだろうか？」
多くの経営者の疑問です。「利益まっくす」は中小企業が簡単に個別原価を計算できるて価格のシステムです。
設備・現場のアワーレートの違いが容易に計算できます。
間接部門や工場の間接費用も適切に分配されます。
クラウド型でインストール不要、1ライセンスで複数のPCで使えます。
利益まっくすは長年製造業をコンサルティングしてきた当社が製造業の収益改善のために開発したシステムです。
ご関心のある方はこちらからお願いします。詳しい資料を無料でお送りします。
