TOEIC公式認定証はスコアだけではない：ABILITIES MEASUREDとは何か、そして推定スコアをどう較正するのか

〈ハンディ990がTOEICスコアを推定する仕組み〉の結びで、私たちはひとつ約束をしました。実際の試験結果が入ってくるほど、推定は正確になっていく、と。この記事はその約束の続編です——公式認定証が届きました。さて、どうする？

場面を具体的にしましょう。あなたはアプリで3か月練習し、7つのパートにまたがって数百問を解いてきました。アプリはPart 5を85%、Part 7を55%と推定し、レーダーチャートも描いています。そして本番のTOEICを受験し、2〜3週間後に認定証が届く。手元には「あなたの英語力」についての資料が2つあります。ひとつは数百問の練習から積み上げた精細なプロファイル、もうひとつはETSの印が押された公式の数字。両者はまず一致しません。

アプリはどちらを信じるべきでしょうか。

直感的な2つのやり方は、どちらも間違い

やり方その1：認定証を正として、全部上書きする。 公式スコアが私たちの推定より権威あるのは当然です。なら推定を消して、認定証から仕切り直せばいい。問題は、認定証には数字が2つしかないことです。リスニングに1つ、リーディングに1つ。あなたのPart 5の正答率がPart 7より30パーセントポイント高いことも、シングルパッセージなら読めるのにトリプルパッセージで崩れることも、認定証は知りません——それらは3か月・数百問かけて得た情報であり、2つの数字には収まらない。推定を上書きするのは、アプリが持つ一番価値あるものを捨てることです。

やり方その2：認定証は「参考程度」にして、推定は据え置く。 逆の直感で、自分のモデルを信じ続ける。しかし前回の記事で認めたとおり、モデルの定数は推論で決めたものであって、フィッティングされたものではありません。私たちの問題集の難易度と本番との間にはズレがあり、そのズレは人によって違います。アプリが750と言い、認定証が680と言っているのに750を表示し続けるのは、自信ではなく、耳をふさいでいるだけです。

どちらのやり方も、情報の半分を捨てています。正解はひとつの観察に隠れています——この2つの資料は、得意なことが違うのです。

認定証は「標高」を知り、練習記録は「稜線」を知っている

あなたの実力を、ひとつの山脈だと考えてください。7つのパートは、高さの異なる7つの峰です。

あなたの練習記録——数週間にわたる数百問、一問ずつの記録——は、この山脈の稜線を描き出してきました。どの峰が高く、どの谷が低く、その差はどれほどか。この稜線は非常に精細で、Part 7のシングル・ダブル・トリプルを3種類の異なる斜面として見分けられるほどです。しかし生まれつきの弱点がひとつあります。稜線全体の標高が、ずれている可能性があるのです。私たちの問題はETSが作ったものではないため、難易度の較正には系統的なずれが避けられません——稜線の形は正しいのに、山脈全体が数十メートル高く、あるいは低く描かれているかもしれない。

認定証はちょうどその逆です。ETSのスコアは大規模な等化を経ており、標高の真実です。しかし稜線についてはほぼ沈黙しています。リスニングに1つ、リーディングに1つ——「平均の峰」が2つあるだけです。

だから、正しいやり方はひとつしかありません。認定証で標高を較正し、練習記録で稜線を守る。

ABILITIES MEASUREDとは何か？

とはいえ、認定証も稜線について完全に沈黙しているわけではありません——ここで、あの見過ごされてきた横棒の出番です。

正式なTOEIC公式認定証（紙のもの。台湾の公式スケジュールでは試験後16営業日ごろに発送され、オンラインのスコア照会は10営業日目から可能ですが、そちらはスコアのみです）の下半分には、ABILITIES MEASUREDが印字されています。リスニング5項目、リーディング5項目、それぞれに正答率のパーセンテージが付いています。パート別ではなく「能力」別の区分です——リスニングの5項目はおおよそ「短い会話の要点」「長い会話の要点」「短い会話の詳細」「長い会話の詳細」「話し手の言外の意味」。リーディングの5項目は「推測」「特定の情報の検索」「文・文書をまたぐ情報の関連付け」「語彙」「文法」です。

この10個の数字は、あなたが解いたまさにその試験——リスニング百問、リーディング百問——からETSが算出したものです。言い換えれば、公式版の、粗い粒度の稜線情報です。ハンディ990のスコア入力画面には、この10個のパーセンテージをそのまま書き写せる展開パネルが加わりました。アプリ内の10行は、認定証の印刷そのままの文言・印刷どおりの順序を意図的に使っています。認定証を片手に、上から下へ書き写すだけです。10個の欄はすべて任意——書ける分だけ書けばよく、1つも書かなくても構いません。

較正はどう計算されるのか？

3ステップです。

ステップ1：稜線を守る。 各パートの出発点は、あなた自身の練習が確立した正答率です——認定証の平均値ではありません。Part 5が強く、Part 7が弱い？較正後もそのままです。

ステップ2：能力項目を「証拠」として折り込む——真実としてではなく。 ここに見落としやすい細部があります。10個のパーセンテージの背後にある問題数は、大きく異なるのです。1回の試験でPart 1はわずか6問、Part 3は39問——つまり「短い会話の詳細」の横棒の背後にある証拠は、見た目よりずっと薄い。私たちは各能力の数字を、試験でのその問題数ぶんの「新しい観察」として、対応するパートの推定に折り込みます。Part 3の証拠は39問ぶんの重みで、Part 1は6問ぶんの重みで。そして天秤の反対側には、あなた自身の練習記録が載っています——あるパートにすでに数十問ぶんの有効な証拠が積まれていれば、能力の数字は推定を少し押すだけで、置き換えはしません。逆に、始めたばかりで記録のないユーザーなら、能力の数字がほぼすべてを決めます。同じ1つの式が両方のユーザーを自動的にカバーし、「新規か既存か」の分岐はどこにもありません。

ステップ3：セクション全体を平行移動して、標高を合わせる。 前の2ステップを終えたら、そのセクションの全パートの推定に同じ移動量を加え、推定から逆算したリスニング（またはリーディング）のスコアが、入力した公式スコアにちょうど一致するようにします。このステップは数学的に正確です——各セクションのパート別問題数の合計はちょうど百問なので、全パートを1パーセントポイント持ち上げれば、セクションスコアはちょうど1問ぶん上がる。つまり前段で形がどう動いても、最後に逆算されるスコアは必ず認定証のあの数字になります。公式スコアが常に最終権威であり、能力項目は配分だけを担い、総量には手を触れません。

レーダーチャートも同じ論理です。ETSの10項目の能力と、アプリの六角レーダーの6軸はほぼ一対一に対応します（「文法」は文法へ、「情報の関連付け」は推論へ……）。入力された能力項目はレーダーを認定証の方向へ押します——押すのであって、上書きはしません。

最初のバージョンは間違えていた

正直に言います。この機能の最初のバージョンは、まさに前述の「やり方その1」でした。スコアを入力すると、推定全体が消されて作り直される。ゼロから始める新規ユーザーには問題ありません——守るべき稜線がそもそもないからです。しかし数か月練習してきたユーザーにとっては、数百問の記録を2つの数字と交換することになる。リリース後、私たち自身が「3か月練習してから受験する」場面を追ってみて、おかしいと気づき、数日のうちに現在の較正方式へ改めました。記録としてここに残しておきます——権威あるデータでも、価値ある情報を消してしまうことはある。「より権威がある」は「上書きすべき」を意味しない。

試験の2週間後、アプリがリマインドします

もっと根本的な問題もありました。そもそも、認定証を入力する価値があると知っている人が少ないのです。以前のアプリの挙動は——試験日が過ぎるとホームのカウントダウンが静かに消え、そして何も起こらない。まるで受験に後日談がないかのように。

現在は、試験日の2週間後から（オンラインでスコアが照会でき、紙の認定証ももうすぐ届く時期です）、その回の結果が未入力なら、ホームにカードが現れます——「公式スコアは届きましたか？」。タップするとスコア入力が直接開きます。スコア、能力項目、そしてその流れのまま次の試験に向けた各パート目標の再設計まで、ひと続きです。不要なら閉じられます。同じ回の試験について再び尋ねることはなく、次に登録した試験については、試験後にあらためてリマインドが有効になります。リマインドが出るのは試験後3か月まで——3か月も経ってから「認定証は届きましたか」と聞くのは、アプリが何も気にかけていなかった証拠にしかなりませんから。

正直な但し書き

いつもどおり、限界をはっきり書いておきます。

• 能力とパートの対応表は私たちの判断であって、ETSの公式ではありません。 ETSはどの問題がどの能力に算入されるかを公開していないため、「文法70%をPart 5とPart 6にどう配分するか」は私たちが推論した重みです。ただしステップ3の平行移動が保証します。対応表がどれほど不正確でも、影響するのは配分の形だけで、逆算されるスコアは動かせません。
• 1回の試験は1回の標本です。 同じ人が2週間おいて再受験しても、当日の体調、配られた問題冊子、勘で答えた問題の当たり外れによって、スコアは自然に変動します。認定証は手に入る最良の単一データ点ですが、それでも単一データ点です。能力項目を「置き換え」ではなく「折り込み」にしているもうひとつの理由でもあります。
• 認定証は古くなります。 入力するのは3週間前の試験のスコアかもしれず、あなたはその3週間も練習を続けています。較正はそれを「現時点の証拠」として扱うため、わずかな時差があります——それでも、無視するよりも丸写しするよりもましですし、その後の練習は通常どおり推定を更新し続けます。
• 入力されたスコアは、私たちの採点でもあります。 公式スコアを入力するたび、アプリは較正を行う前に、「そのときの推定」と「実際のスコア」の差を非公開で記録します。前回の記事で約束した「定数は実データで精錬されていく」は、まさにこの差で動いています。あなたがアプリを較正するとき、あなたは私たちも較正しているのです。

---

スコア入力は、ハンディ990のホーム画面の目標カードから始まる目標コンサルテーションの中にあります（この経路では本記事の較正が即座に実行されます。試験の2週間後からはホーム画面が自ら提案もします）。「設定 → 公式 TOEIC スコアを入力」は記録のみを行い、次回のコンサルテーション時に適用されます。この推定の背後にあるモデル——減衰ベイズ事後分布、不確実性の幅、なぜIRTを使わないのか——については〈ハンディ990がTOEICスコアを推定する仕組み〉をお読みください。