Recent Posts

198. アメリカの国家諜報機関で重宝されていた発達測定手法の質

記事195に関連して、若干細かな論点であるが、LASという発達測定システムを心理統計の観点から評価すると、どのようなことが言えるのかを簡単に紹介したい。結論から言うと、セオ・ドーソンやザッカリー・スタインによる長年の実証研究が示しているように、LASは測定者間の信頼性やアセスメントの妥当性を高いレベルで確保している。

特に、測定者間の信頼性——同じ回答を分析して、どれだけ同じ測定結果が得られるか——がどれほど確保されているかはアセスメントにおいて重要な点であり、もし測定者間での合意がなかなか得られないような測定手法である場合、それは測定システム上に何かしらの欠陥があることを示している。

熟達したLASの分析者であれば、知性発達の一つの階層構造に含まれる4つの段階を見分ける際に、およそ97%という高い測定者間の信頼性を持っている。レクティカに参画した当初に私が受けたLASのトレーニングでは、熟練の分析者と少なくとも85%の合意率を確保することが要求されていた。

ドーソンやスタインは、LASと様々な発達測定手法を比較する検証研究を実施してきた。例えば、ローレンス・コールバーグの測定手法(道徳的発達)、シェリル・アーモンの測定手法(善に対する認識力)、ウィリアム・ペリーの測定手法(認識論的理解力)、カレン・キッチナーとパトリシア・キングの測定手法(内省的判断力)などとLASを比較した。

比較の結果、LASはそれらの領域特定型の発達測定システムが対象とする領域にも適用可能であるということがわかったのである。つまり、LASで計測されたスコアは、他の測定手法で計測されたスコアと対応させることが可能であるということだ(構造的発達心理学の研究者にとって、これは非常に大きなインパクトを持つ発見事項であった)。

これが可能になるのは、究極的にどの発達測定手法も必ず共通の性質を測定しているからである。ドーソンが提唱するように、この共通の性質こそ、まさに潜在的な発達構造記事195を参照)と呼ばれるものであり、それは階層的な複雑性と言い換えることができる。

また、測定者間の信頼性に加え、ドーソンは「ラッシュモデル(Rasch Model)」を活用しながら潜在的な発達構造の存在について実証的な証拠を提出している。ラッシュモデルとは、社会科学の領域において客観的な測定手法とは何かを解明するために開発されたものである。

ラッシュモデルは既存の統計手法とは異なる特徴を持っており、それは理論モデルがデータに適合するかを評価するのではなく、データがモデルに適合するのかを評価することにある。レクティカでは、データを見事に記述する最善の理論モデルを探すことに主眼を置くのではなく、収集したデータが客観的な測定基準に適合しているかどうかを評価することを行っている。

つまり、心理統計の専門家が集うレクティカでは、測定手法そのものを評価するという試みが同時に行われていたのである。こうした試みの下、各測定手法が抱えるアセスメント項目の難易度を評価するとともに、多様な測定手法を横断的に比較することも行われていた。

実際に、ドーソンはラッシュモデルを適用しながら、LASのスコアとコールバーグのスコアを比較(二つの測定手法を比較)したり、LASとコールバーグとアーモンのスコアを比較(三つの測定手法を比較)したりしていた。特に注目に値するのは、三つの測定手法をラッシュモデルを使って比較した際に、それらのシステム間に相関係数が0.92存在していたことである。相関係数0.92は、極めて高い相関関係を示す。

こうした調査が基になって、ドーソンは潜在的な発達構造(階層的な複雑性)の存在を提唱するに至ったのである。

上記を要約すると、LASは信頼性と客観性が高い測定手法であるということだ。LASは単に他の測定手法と比較して信頼性が高いというだけではなく、領域特定型の測定手法が間接的に測定する潜在的な発達構造を直接的に測定することが可能なのである。

発達測定に関してこうした質の高さを誇るLASが、米国の国家諜報機関(NSA、CIA、FBIなど)で積極的に活用されていたのは実に納得できる。

過去の曲の音源の保存先はこちらより(Youtube)

過去の曲の楽譜と音源の保存先はこちらより(MuseScore)