00:00
それでは、本日の本題に入ってみたいと思います。 今日お話ししたいのは、
IRT項目反応理論入門という、こういうタイトルの本についてです。 だからその理論そのものというわけではなくて、その本についてということですね。
これを話そうと思ったのは、インドでは、すごいJLPTが大切なんですよね。
日本語学習者あたりのJLPTの受験者数というのを、僕が今まで不認した国限定で計算してみたことがあるんですけど、
そうすると、JLPTは平均的な数の2倍ぐらい、インドでJLPTを受験する人は、平均的な国の2倍ぐらいありました。
なので、実際にインドでは日本語学習者の数の割には、JLPTの受験者がとても多いということが言えるんですけど、それだけ大事なんですよね。
なぜかというと、やっぱり格差社会とかがあって、しかも宗教とか言語とかがすごい多様なので、それを一つのサーティフィケーション、証明書で自分の能力を証明することができるというのが非常に大事になるという社会的な背景があるんだと思います。
そういう意味でJLPTというのはすごい大事なんですけど、かつその採点の方法が難しくてよくわからないんですって質問されることが多いんですね。
僕も実は数学のちゃんとした本とかをあまり勉強したことがなくて、この項目反応理論のことをちゃんと勉強したことがなくて、
少なくとも本の一冊ぐらいは読んで、僕が自分ではうまく説明はできなくても、この本は僕読みましたけどわかりやすいですよみたいな、そういうことが言えるぐらいまではちょっとなっておきたいなとは思ったんですね。
なので、それでちょっとまずこの本を読んでみたというのがあります。
今日これからこの本についてちょっとご紹介しますけど、僕は本当にその数学に特に詳しい人間ではないんですね。
今これを聞いている方あるいは録音で聞いている方の中で、数学に詳しい方がいらっしゃいましたら、もし僕が変なことを言っていると思ったら、
ぜひこのムラスペのハッシュタグ付きで、そこがちょっと違いますよみたいなね、そういうコメントをいただければと思います。
じゃあちょっと皆さんに聞いてみたいんですけど、このIRTとかアイテムレスポンスセオリーとか、その日本語訳である項目反応理論とか、
そういうのを聞いたことがあるという人は、ハートマークでリアクションいただけますか?
03:00
まだ聞いたことがないという方は涙のリアクションをいただければと思いますが、いかがでしょうか?
はい、でね、あの、
はいはい、涙のマークの方ですね。ほとんどの方が涙のマークですね。はいはい。
JLPTのサイトでは、項目応答理論という言葉を使っているんですけど、
今日ご紹介する本の方では、項目反応理論という言葉を使っていますね。
両方ともレスポンスの日本語訳なので、僕はこれ同じことを話しているというふうに理解しています。
専門家によったらもしかしたら微妙な違いとかあるのかもしれませんけど、
すみません、その違いが仮にあったとしても僕はわからないので、ここでは同じものとして扱わせていただきたいと思いますね。
JLPTの公式サイトのよくある質問というページがあるんですけど、そこにですね、質問としてこういう質問があります。
それぞれの得点区分の中で各問題の配点はどのようになっていますか?
こういう質問があるんですね。本当にこういう質問を僕自身もよく受けるんですよ。
それについてこの公式サイトですね、JLPTの公式サイトの回答の中にこういうふうに書いてあります。
日本語能力試験は項目応答理論に基づいた尺度得点方式なので、問題ごとの配点を合計するという方法ではありません。
これで言い終わりですね。こういうふうに公式サイトでは書かれているわけですね。
なので、公式、その項目応答理論、このIRTをそれが背景にあるということはJLPTが公的に認めていることなので、
これに別に守秘義務でもなんでもないわけですね。
今日ご紹介する本についてちょっと具体的に説明してみたいんですけど、客観的なことをね。
タイトルをもう一回申し上げます。
IRT 項目反応理論入門 統計学の基礎から学ぶ良質なテストの作り方
ということになっていますね。
書いている著者は高橋信さん。
キンドル版なんですね。
まだね、もう1年前の本なんですけど、評価が1つしかないです。
まあこれみんながね、すごい一般向けの本ではないので、みんなが読む本ではないから評価1つしかないんですけど、
その1つは5つ星のうちの5点です。
なので平均点ももちろん5点ゼロになっていますね。素晴らしいですね。
今のところキンドル版と紙の印刷版もあります。
06:01
キンドル版の方は2574円しますね。
ただね、ちょっと気をつけなければいけないのは、これ技術的なことなんですけど、
このキンドル版はプリントレプリカ形式で、
キンドルペーパーホワイトなどの電子書籍リーダーおよびキンドルクラウドリーダーではご利用いただけません。
ファイヤーなどの大きいディスプレイを備えたタブレット端末や、
Kindle無料アプリ、Kindle for iOS、Kindle for Android、Kindle for PC、Kindle for Mac、
でのみご利用可能です。
これ固定レイアウトなんですよ。プリントレプリカ形式というのは固定レイアウトなので、
正直、僕は楽天ビッグという結構大きめの携帯を使っているんですけど、
それでも固定レイアウトというのは、要するに開業が固定されているんですよね。
なので1行あたりに表示される文字数が同じなので、
僕の年の視力の人間が携帯で読むのは正直厳しいです。
かつ、ペーパーホワイトとかでも読めないんですよ。
これ開こうとすると、これはこの端末に対応していませんというのが出ちゃって読めないんですね。
だけどパソコン用の、僕はChromebookなので、ChromebookはAndroidのアプリで動きますから、
そこで読む分には全然大丈夫なんですけど、
でもそういう環境によっては読みにくいとか実質的に読めないという人がいるかもしれないので、
そこは要注意ですね。しかも値段が2574円するので、
これを買っておいて読めないという人はかなり悲しいですからね。
ここから内容についてご説明したいんですけど、
まずですね、さっきも言いました通り、この項目応答理論というのはJLPTの背景にある理論なんですけどね。
だけど僕自身はこのJLPTの開発には全く一切関わっていないです。
ですので処避義務というのは全くないです。だって秘密知らないからね。
なので、僕がこれから話すことは処避義務でもなんでもなくて、
JLPTが公式サイトでIRT、この項目応答理論を勉強してくださいねと書いてあったので、
09:01
そこでIRTについて書いてある一般向けの、別に秘密でもなんでもない一般向けの本を読んで、
それでそれについて話すということだけですね。
しかもそれほど専門的な話はできないので、
全然別にそこのところは処避義務違反ではないということはあらかじめお伝えしておきたいと思います。
かつですね、これね本当に関わっている人はやっぱり処避義務があるから喋れないっていうね、そういうのがあるんですよ。
このJLPTの開発に関わっている人はもちろんこのIRTとかとても詳しいとは思うんですけど、
どこまで処避義務で、どこから話していいかという線引きがなかなか難しいですよねきっとね。
なのでちょっと喋りにくいと思うので、そういう意味で僕みたいに最初から関わってない、
だから処避義務のない人間がちょっとこういうのは喋るべきところもあるんじゃないかなというふうに思いました。
すみません、前置きがここまで来ちゃってますけど、
要するにその項目反応理論もしくは項目応答理論というのは、
端的に言ってしまうとですね、数学的に質問の一つ一つを、その特性を数学的に表現することができるということですね。
いろいろな問題をたくさんプールしておいて、しかも未来のテストのためにも問題を蓄えるという、そういうようなこともしておいて、
かついろいろなテストに関するテストもして良質なテストを作ったりするということですね。
具体的にはどうやってその質問の特性を数学的に表現するのかというと、
ここがグラフが必要になるんですけど、項目特性曲線というのがあるんです。
項目というのは要するに質問のことなんです。
何でか知らないんですけど、このIRTでは質問のこと、あるいは問題、出題される問題ですよね、そのことを項目と呼ぶんですよね。
その質問に関する質問の特性を表す曲線というのがあるわけです。
この曲線というのが何でできているかというと、3つの要素があるんですね。
3つの影響する理由があります。原因があるわけです。
まずグラフについて説明しなければいけないんですけど、
まず縦軸と横軸があるわけですね。
縦軸の方は正当者の割合になるわけです。
特にJLPTとかだったらね。
正しく答えた人がどのぐらいいるか。
たくさん答えたらもちろんグラフの上の方に行くってわけですね。
12:03
たくさん答えられない場合はグラフの下の方に行っているわけです。
横軸は能力の高さという風になっています。
これが例えばJLPTとかで言うと、一番左の原点に近いところが赤ちゃん。
全然何もわかんない赤ちゃん。日本語を勉強していないような人たち。
それからN5の人がいて、N4の人がいて、右に行くに従ってね。
N3、N2、N1って言って、一番右側には母語話者。
母語話者もね、もういろんなレベルの人がいますけど、
母語話者の中でも特に語学能力が高い人が一番右側に来るような、そういうイメージだと思いますね。
そうするとですね、基本的には赤ちゃんは全然答えられないので、
一番左側はもうゼロに近いわけです。つまり右上がり、右肩上がりの線になるというのは皆さんご想像がつくと思います。
赤ちゃんぐらいの人はほぼ0点だし、N5、N4、N3、N2、N1という風に行くにあたって、
そうやって能力が高くなるに従って点数も高くなって、
JLPTぐらいの問題だったらN1でも母語話者は特に言語能力に優れている人だったら当然満点取れるはずですよね。
なので、基本的には左下から右上の方に伸びていくグラフの線になると思うんですよね。
でもこれが曲線と言われている通り、あまり真っ直ぐじゃないことが多いわけなんですね。
基本的にはS字型っぽい感じになります。S字型って言ってもちょっと傾いたS字型で、
左下の方はずっと横ばいで、途中でククッと上がっていって、また途中から満点に近いところで横ばいになるという、
そういう感じのS字型に近いグラフになる。それがいい質問なわけですね。
これに影響を与える3つの要素があって、少なくともこの本では3つの要素が紹介されていて、
1つは識別力というものですね。識別力というのは特にいい質問だと、
例えばN2に合格できるレベルの人だったら100%の人が正解できるけど、
合格できないレベルの人だったら100%間違ってしまう。
そういう質問が仮にあったとしたら、あまりないと思いますけど、
そういうのが仮にあったとしたら、赤ちゃんもN5もN4もN3の人も基本的に0点で、
15:01
N2、N1、母語話者の人は基本的に100%の人が正解するわけですから、
クランクみたいなカクカクという直角に曲がる曲線になるわけですよね。
つまり、この識別力が高いと、普通はこのS字の真ん中にある上向いている部分、
その部分が識別力が高くなるとそこの傾斜が急になるわけなんですね。
あともう一つは難しさというのもあります。難しさが高くなると、
当然、さっきこのグラフでいうと右側の方にグラフが寄っていくわけです。
なんでかというと、ククッと識別される部分ですよね。
それが、例えばN5レベルの試験を出したら、赤ちゃんは答えられないけど、
N5の人はもう正解できるし、N4もN3もN2もN1も母語話者も100%近い人が正解できるわけですよね。
なのでグラフとしては左側の方に行くし、逆にN1とかだったら赤ちゃんもN5もN4もN3もN2の人も正解できないけど、
N1のところでククッと上に伸びて、N1の人と母語話者だけはほぼ100%正解できるという感じになるわけですよね。
なので難しい問題だと右側に寄っていくし、簡単な問題だと左側に寄っていくという要素ですね。
あともう一つは当て推量と書いてあります。
例えばJLPTも全部選択肢ですよね。
基本的には選択肢が4つあって、懲戒の中に一部選択肢が3つしかないところもありますけど、
全部選択肢なので、4択のところは何か1つ選べば4分の1の確率で正解するわけですよ。
選択肢が3つしかない懲戒のところでも3分の1の正解率になるわけですね。
どんな赤ちゃんとかでもね。
なのでそれを考えると項目特性曲線というやつは全体的に上の方に上がっていくわけですね。
例えばJLPTではありませんけど、選択肢が2つしかない場合、
特にこれは正しいですか間違ってますか、そういう選択肢が2つしかないような問題だったりしたら、
18:06
赤ちゃんとかだって50%くらいの人は正解できてしまうわけですから、
なのでこの当て推量の要素というのも全体的に上側に押し上げる効果があるわけですね。
このS字曲線を上側に押し上げていくそういう効果があるわけです。
この本ではこの3つの要素が述べられていますが、
項目応答理論もしかしたらもっと複雑な要素とかも、専門的に勉強したらもっと複雑な要素とかも出てくるかもしれません。
だけどこの本ではこの3つですね。
識別力というその真ん中の傾斜が急になるかどうかということと、
難しさというのは難しくなると全体的にグラフが右側に寄っていく。
当て推量というのは全体的にグラフが上側に寄っていく。
この3つの要素でこの項目特性曲線というのを表現することが、数学的に表現することができるというわけなんですね。
それでですね、この本ではそれぞれの問題の特性を推定する方法というのも書いてあります。
それぞれの問題の特性を推定するというのは要するに、識別力と難しさと当て推量の度合いということですよね。
その後でそれができた後でそれぞれの受験者の能力を推定するということになるわけですね。
これについてはこの本がすごくいいなと思ったのは、
文系の人宛に読んでいいところと読まなくてもいいところが明記してあるんですよ。
例えば一つの章の先のところにはこんな風に書いてありました。
本章の知識がなくても実務では全く困らないはずです。
なのではいすいません僕も一応目通したけど正直でそこはちょっとよくわからなかったはっきりとよくわからなかったです。
別の章ではこんな風に書いてあります。数学的な背景っていうそういう章があるんですけどそこのところには数学的な背景に興味のない読者には読まないことをお勧めします。
こんな風に書いてあるんですね。僕は一応目通しましたよ。だけど正直でちょっとよくわからなかったです。
なのでこういう風に文系の人でも読まなければいけないところと
読まなくてもいいところが明記してあるっていうのはとてもこの本のいいところだと思います。
でねでも一応ね僕は一応最初の方からそのでねかつやっぱり数学いっぱい出てくるので数式がたくさん出てくるんですよはい
21:00
でね途中までねフォローはしていたんですけどいきなり数式の中に exp っていうのが出てきて
でねあのなんじゃこりゃと思ってでそれまで出てこなかったんですよね でね多分ググればねもちろんこの exp っていうのが何を示しているのかわかるのかもしれなかったんですけど
えーとちょっとねもうそこからはあのまあ少なくの僕 僕の数学のレベルがこの本で期待されている読者の
レベルを上回ってないということはちょっとわかったのであのまあ何でかというと多分その 説明がいらないと思ったからいきなり説明なくこの exp とが出てきたと思うんですね
はい数式の中にねでその なのでそこから先はですねちょっと正直の話
8 数式が表していることはフォローできないフォローしなくてもいいやという感じで僕はちょっと読み
進めることもできましただけどそのためにもあのそれでもですねこの全体的な項目を取りるのがその あのこういう問題の一つ一つの
特性を数学的に定義してそしてその
でそれからそのあの
回答のパターンですよね一人一人の回答者のそのパターンからそれがその人の能力を推定する ことができて
でかつそのあの未来のテストのためにね問題をあのまあ一つ一つの問題の特性が定義できる ということは要するに難しさとかそういうことが定義できるってことですよね数学的にね
なので同じレベルのテストとかをあの a
未来のためへ 蓄えておいてでかつそのさらに良質なテストを作成していくというねこういう流れというのはまあ
少なくとも理解することができました はいなのでですねすいませんちょっとあの今日の僕の話っていうのはまあ多分その
数学的に詳しい人には非常に不十分なものだと思いますし かつもしかしたら間違いとかね
あるかもしれませんまあ僕はそのこの本に書いてあることをしかよって言ってないつもりなんです けど
でももちろん僕のあの理解がね間違っていればそういうこともあるかもしれませんのでそういう方はその えっとそこと違いますよというふうにあのコメントしていただければと思いますね
でその公開したところでちょっとコメントしにくい場合は僕に dm 送っていただければですね で僕の方からすいませんあそこのところ間違ってましたというふうに皆さん向けにお話ししたいと思いますのでぜひ
お願いしたいと思いますはいえーとそれではですね今日本日も村スペにご参加くださいまして ありがとうございました
今日のねこの irt 項目反応理論入門というこの本につきまして でそのこの本について僕が喋ったことについてですね
ご感想とかコメントとかありましたらぜひ村スペのハッシュタグ付きでご共有いただければ と思います
ちょっとね今日グラフがね見せられないのでちょっと分かりにくいところあったと思います けど興味ある人は今日のあの鼻筋でね
グラフも見せながらもう一回同じことをちょっと話しますのでぜひそちらにも来て いただければと思います
24:02
はいえーでそれではあの本日も良い1日をお過ごしください今日のね 鼻筋で皆さんにお会いできることを楽しみにしておりますあちなみに今日鼻筋はいつもより
ね3時間早い早筋ですのでご注意ください そして冒険は続きます