昨日は、とても御世話になっている知人の方が近日出版した書籍に目を通していた。実は午前中は、フラクタルの特徴と分析手法について記述された論文を読み、自分の研究データを再分析することを行う予定であった。
しかし、その予定以上に、その方の書籍を読むことの方が重要だという思いがあり、なおかつそちらの方が今この瞬間の自分の興味を引くものであると思ったため、その方の書籍を読むことにした。予想していたように、あるいは、予想していた以上に面白い内容であった。
特に、その方が書籍の中で、私が第二弾の書籍で触れた話題について言及しており、それらの箇所は重点的に丹念に読んだ。また、自分の関心テーマと完全に合致するわけではない箇所からも、多くのことを学ばせてもらったように思う。
他者が執筆した文章を読むことによって、確かに他者は自分と異なる内面世界を持っているのだとわかる。もちろん、内面世界が重なる地点や領域はあるにせよ、今の私はそうした共通性よりも、相違性を大切にしたいと思う。
なぜなら、そうした相違性こそがお互いの固有さを示し、同時に、お互いの内面世界がさらに開拓される機会がそこに眠っているように思うからである。午前中はその方の書籍を読んでいたため、当初午前中に予定していた仕事を午後にずれ込む形で取り組むことになった。
フラクタルに関する論文に目を通し、その後は研究データを再分析していた。具体的には、今回の研究のために、カート・フィッシャーのダイナミックスキル理論をもとに構築した測定手法の信頼性を評価していたのである。
合計で450個ほどのデータセットから無作為に50個を抽出し、その50個に対して、再度レベル分析を行い、以前自分が行った分析とのズレを検証していた。これはつまり、測定者内信頼性（intra-rater reliability）を評価する作業である。
自分が構築した測定システムであるにもかかわらず、以前の分析と今回の分析が完全に合致することはなかなか難しいのだと改めて思わされた。そもそも、450個のデータセットから無作為に50個のデータを抽出したのは、測定手法の信頼性に関するとある論文の中で、総データの少なくとも10%のデータを再度検証する必要がある、と記述されていたためだ。
総データの10%であれば、45個で良いのだが、念のため50個のデータに対して再分析を行ったのである。この分析をした結果、50個のうち、4個ほど最初の分析と異なるものが検出された。
ズレの理由を確認することに十分時間を取り、その後、検証結果に対してカッパ係数を算出しようとしていた。カッパ係数とは、測定者間信頼性（inter-rater reliability）のみならず、今回のように測定者内信頼性を評価する際にも用いることができる指標である。
今回のケースでは、50個のデータに対して、46個が完全に合致したため、その合致率は92%（46/50）だと早急に結論づけることはできない。なぜなら、偶然に回答が一致したケースも考えられるからである。
そのため、こうした偶然の一致を考慮して合致率を算出しないといけないのだ。こうした偶然の一致を考慮して算出される数値が、カッパ係数と呼ばれる。
もちろん、カッパ係数を手計算することもできるが、統計プログラムのSPSSやRを用いて計算することもできる。今回は自分の学習を兼ねて、Rでカッパ係数を算定することと同時に、手計算でもその値を算出したいと思う。その作業は、昨日の夜にできなかったので、今日の午前中に取り掛かりたい。2017/1/24