早稲田大学石田研究室


ダブルチェックの有効性における実験的検証
橋本孝史


1.研究の目的
 医療や航空,原子力などの現場ではシステムの信頼性を高めるために色々な方策を採っている.その代表的なものの中にダブルチェック(1回ではなく2回確認作業をすること)がある.ダブルチェックは作業者が2人(それぞれのエラー率をp,qとする)で行うとエラー率の理論値はp×qとなる.例えば,作業者のエラー率がそれぞれ0.1である時ダブルチェックのエラー率の理論値は0.1×0.1=0.01になる.
田部井(2007)は,パソコンの英単語の入力作業を課題としてエラー率の実測値と理論値を比較した.その結果依存心によりエラー率は理論値よりも実測値の方が高いという結果が得られている.しかし,実験方法として条件の違いは教示だけであり,被験者は同じ作業を単独で別々に行っていた.一般的にダブルチェックの実施方法としては,2人で作業者と確認者とで役割分担をして同時に行う.よって,より現場に即した状況で検証する必要があるので,本研究では2人で作業者と確認者とで役割分担をして同時に作業を行うダブルチェックの実験的検証を目的とする.

2.実験
被験者18人を2人1組にして単独作業1回(実験X),共同作業を2回(実験Y,Z)の計3回の実験を行った.共同作業は記入者と確認者に分かれてもらい,実験Yと実験Zはペア間で逆の役割を担当して作業を行った.課題内容は大文字と小文字混合のアルファベットのランダム文字列(5文字×50個)を,アルファベットが大文字ならアルファベット順の1つ前の文字にして小文字に,小文字なら1つ後の文字にして大文字に変換,記入する作業である.例えば「BecKo→aFDjP」と変換,記入してもらう.課題は問題とともにプリントに印刷してある解答欄にボールペンで記入してもらう.共同作業の場合は,記入者が1枚回答を終えるたびに確認者へその紙を渡してもらい,ミスが無いか確認した後に提出してもらった.ミスがあった場合には記入者が書いた回答の隣に確認者の回答を記入してもらった.なお,作業の時間とエラー率から算出する得点が高いほど報酬が高額になる教示も行った.得点の算出方法は,正答率(%)−所要時間(s)÷30(s)とした.また,課題内容と実験の順番はランダムにし,最初の実験を行う前に練習問題を解いてもらった.
単独作業は各被験者の回答がそのまま得点に直結し,共同作業は記入者と確認者に分かれて,どちらかが正解していたら正解とみなす旨を教示した.

3.結果・分析
分析するに当たり,1文字を1試行とし,1回の実験で250試行とした.分析は被験者A,Bのペアで,A,Bの実験Xでの単独作業時のエラー率をかけたものを単独理論値,Aが作業者でBが確認者での共同作業のエラー率(実験Y)を確認実測値@,Bが作業者でAが確認者での共同作業のエラー率(実験Z)を確認実測値A,A,Bの実験Y,Zでの共同作業での記入者としてのエラー率をかけたものを同時理論値として,比較する.
分析はエラー率を従属変数にしてエラー率の算出方法を要因として1要因での分散分析を行った.結果,有意な主効果が見られた(F(3,24)=16.93, p<0.01).
また,Bonferoni法による多重比較の結果,確認実測値@とAの間には有意差が見られなかったが,他の比較では有意差は見られた(図1).

4.考察
単独理論値とはダブルチェックのエラー率の理論値である.また,確認実測値とは2人で作業者と確認者に役割分担をして同時に行うダブルチェックのエラー率の実測値である.同時理論値とは2人で役割分担を行わずに同じ作業を同時に行うダブルチェックのエラー率の理論値である.これらを比較すると,単独理論値<同時理論値<確認実測値となった.
まず,単独理論値<確認実測値となったことは,ダブルチェックではペアに対する依存心が発生することを示唆している.
また,同時理論値<確認実測値となったことは,確認者が作業者に依存していて,各試行毎の判断が独自に出来ていない.そのために,確認の信頼性は作業の信頼性より低くなる可能性があることを表している.
そして,単独理論値<同時理論値となったことは,確認者だけでなく,記入者のほうもダブルチェック時に作業の信頼性が,単独作業時に比べ低くなることを表している.
よって,作業者と確認者に分かれ同時にダブルチェックを行う方法でも,同じ作業を同時に行うダブルチェックでも依存心の発生などにより,ダブルチェックのエラー率の理論値よりも,実際のエラー率は高くなると考えられる.また,ダブルチェックを実施する際には作業者と確認者に分かれて役割分担をしてダブルチェックを行うよりも,同じ作業を行い照合するダブルチェックを行った方が,信頼性が向上すると考えられる.

5.結論
・ 2人同時に作業するダブルチェックでは役割分担の有無に関わらず,依存心の発生によりダブルチェックのエラー率の理論値と比べエラー率が高い
・ 確認の信頼性は作業の信頼性より低くなる可能性がある 

6.今後の課題
ペア間での条件を「性差」「年齢差」「知り合いか初対面か」「上司か同僚もしくは部下か」「作業未経験者か熟練者か」などの条件を設定し,それによって信頼性がどのように変化するのかを実験的に検証する必要がある.

7.引用文献
田部井良文 2007 ダブルチェックの有効性における実験的検証 早稲田大学卒業論文
SEO [PR] 爆速!無料ブログ 無料ホームページ開設 無料ライブ放送