Part 2 난이도: 어려운 것은 못 알아듣는 것이 아니라, 알아들어도 답이 되지 않는다는 것 — 응답 문제를 어렵게 만드는 세 가지 방법

25문항, 종이에는 한 글자도 없다

Part 2는 듣기 시험의 7번부터 31번 문항입니다. 음성으로 한 문장이 읽히고, 이어서 (A)(B)(C) 세 개의 응답이 읽히면 가장 적절한 것을 고릅니다.

다른 어떤 파트와 비교해도 Part 2에는 유일한 특징이 있습니다. 질문 자체도 인쇄되지 않는다는 점입니다. Part 1에는 적어도 사진이 있습니다. Part 3과 Part 4는 질문과 선택지가 종이에 인쇄되어 있습니다. Part 2에는 아무것도 없습니다. 질문은 한 번만, 세 선택지도 각각 한 번만 읽히고 곧바로 다음 문항으로 넘어갑니다.

여기에서 많은 사람이 의식하지 못하는 결과가 생깁니다. 질문과 세 선택지를 동시에 기억하고 있어야 한다는 것입니다. (C)를 들을 무렵이면 질문은 이미 7~8초 전의 것입니다. (A)에서 망설이면 애초에 무엇을 물었는지조차 흐릿해지기 시작합니다.

게다가 한 문항이 짧은 두 문장뿐이라 많은 사람이 Part 2를 「듣기에서 가장 단순한 구간」으로 여기고 단어 암기와 받아쓰기로 대비합니다. 그런데 문제 은행을 분해해 측정해 보니, Part 2에서 실제로 수험자를 무너뜨리는 지점은 단어를 알아듣느냐와 거의 관계가 없었습니다.

다음 두 문항의 차이를 보십시오. 둘 다 영어가 매우 평이하고, 고등학교 수준을 넘는 단어가 하나도 없습니다.

첫 번째:

Who approved the travel budget? (A) It starts next Monday. (B) The flight was delayed. (C) Ms. Alvarez from accounting did.

첫 단어 Who를 듣는 순간, 답이 「어떤 사람」이라는 것을 알 수 있습니다. (C)에는 인명과 부서가 나옵니다. 나머지 둘은 시간과 항공편 이야기여서 종류부터 맞지 않으니 자세히 들을 필요조차 없습니다. 이 문항은 대략 2초면 끝납니다.

두 번째:

Have we settled on a date for the vendor walkthrough yet? (A) We're still waiting to hear back from their office. (B) Yes, the walkthrough went smoothly last quarter. (C) The vendors parked in the visitor lot.

이쪽은 첫 번째보다 단어가 더 쉽습니다. 그런데도 훨씬 어렵고, Part 2의 세 가지 난점을 한 번에 모두 사용하고 있습니다.

이것은 Yes/No 의문문인데 정답에는 Yes도 No도 없습니다. (A)가 말하는 것은 「아직 그쪽 사무실의 회신을 기다리고 있다」입니다. 「날짜가 정해졌는가」에는 답하지 않고, 사실을 진술해 「아직 정해지지 않았다」를 스스로 이끌어내게 합니다.

반대로 Yes가 나오는 유일한 (B)가 오답입니다.

한 가지 더. (B)는 질문의 walkthrough를, (C)는 vendor를 반복합니다. 오답 두 개가 모두 질문의 내용에 닿아 있고, 둘 다 귀에 익게 들립니다. 그리고 정답인 (A)는 질문의 단어를 하나도 반복하지 않습니다.

이것이 Part 2의 핵심 난점이며, 게다가 듣기의 문제가 아닙니다. 추론의 문제입니다.

---

Part 2를 어렵게 만드는 세 가지

문제 은행 전체(1,225문항)를 한 문항씩 분해해 각각의 구조를 측정했습니다. 난이도와 실제로 연동되는 것은 세 가지뿐입니다.

하나, 정답이 질문에 직접 답하지 않는다

이것이 가장 강한 항목이며, 나머지 둘을 합쳐도 미치지 못합니다.

다시 분류하기 전의 원래 라벨로 보면, 「답이 직접 응하지 않는다」는 특징은 쉬운 문항에서 약 5%, 어려운 문항에서 약 56%에 나타났습니다. 열 배가 넘는 차이입니다. 즉 당시 출제자들은 규칙을 적어 두지 않았지만, 그들이 생각한 「어렵다」는 실질적으로 바로 이것이었습니다.

직접 답하지 않는 방식에는 몇 가지 유형이 있습니다.

• 사실로 답을 암시한다: 「주문품이 도착했나요」→「택배가 방금 두고 갔습니다」
• 미룬다: 「이 화물은 언제 도착하나요」→「일정 담당자에게 물어보겠습니다」
• 모른다고 표시한다: 「초과근무를 승인한 사람이 누구인가요」→「층 관리자에게 물어보세요」
• 질문의 전제를 바로잡는다: 「감사 담당자가 원한 건 3월 장부였죠」→「그분이 원한 건 대사표입니다」
• 되묻는다: 의문문으로 그대로 응한다

공통점은 한 단어도 빠짐없이 알아들었는데 그 문장이 답을 말하지 않았다는 것입니다. 마지막 한 걸음은 스스로 걸어야 합니다.

둘, 질문 자체에 의문사가 없다

Who, When, Where 같은 단어에는 큰 이점이 있습니다. 답의 종류를 예고해 준다는 점입니다. When이 들리면 시간을 기다리면 되고, Where면 장소를 기다리면 됩니다. 선택지가 오기 전에 답의 모양을 그려 두고 대조할 수 있습니다.

그 단서를 주지 않는 질문도 있습니다.

• Yes/No 의문문: Has the order arrived?
• 부가 의문문: You reserved the suite, didn't you?
• 부정 의문문: Haven't the samples arrived?
• 평서문: 아예 의문문이 아니라 사실을 진술할 뿐 (「하역 경사로가 오늘 아침에도 또 얼었습니다」)

이들은 우리 은행에서 다 합쳐도 20%에 미치지 못하지만, 어려운 문항에서의 밀도는 쉬운 문항의 몇 배입니다. 이유는 단순합니다. 미리 범위를 좁혀 주는 도구를 잃었기 때문입니다.

부가 의문문과 부정 의문문에는 한 겹의 번거로움이 더 있습니다. Haven't the samples arrived?의 Haven't는 부정형이지만, 묻는 사안은 긍정입니다 — 샘플이 도착했는가. 여기에서 Yes와 No를 뒤바꾸는 사람이 적지 않습니다.

셋, 오답도 같은 이야기를 하고 있다

선택지가 방해로 작동하려면 질문과 관련이 있어야 합니다. 셋 중 둘이 완전히 다른 이야기를 하고 있다면, 그 문항은 핵심어가 들렸는지만 시험하는 셈입니다.

우리는 문항마다 「질문의 내용에 실제로 닿아 있는 오답이 몇 개인가」를 측정했습니다. 어려운 문항이 쉬운 문항보다 평균적으로 많으며, 이 항목에는 특별한 위치가 있습니다. 가짜 어려운 문항을 막는 관문으로 쓰고 있습니다.

우리 은행 안에서 「어려움」으로 표시되어 있으면서도 세 선택지 중 어느 것도 방해가 되지 않는 문항을 27개 찾아냈습니다. 어렵다는 라벨을 달고 있지만 실제로는 2초면 끝나는 문항입니다. 지금의 규칙은 그것들을 모두 자동으로 강등시킵니다.

---

풀어야 할 오해: 소리가 비슷한 단어의 함정

Part 2 참고서는 거의 예외 없이 「소리가 비슷한 단어의 함정」을 다룹니다. 질문이 hire라고 하고 오답이 higher라고 하는 식입니다. 질문이 contract, 오답이 contact. 소리는 거의 같고 뜻은 전혀 다릅니다.

이것은 실재하며, 게다가 효과적인 방법입니다.

그런데 우리 은행을 측정했을 때 그다지 보기 좋지 않은 사실이 드러났습니다. 1,015문항 가운데 한 문항도 없었습니다.

「적다」가 아니라 0입니다. 더 정확히 말하면, 함정에 쓸 수 있는 단어(hire, fare, personnel 등)가 질문에 나오는 문항은 303개 있었지만, 그중 대응하는 비슷한 소리의 단어를 오답에 넣은 문항은 하나도 없었습니다. 재료는 내내 거기 있었고, 방법은 한 번도 쓰이지 않았습니다.

이것은 발견이 아니라 우리 쪽의 누락입니다. 이후 두 차례의 신규 문항 모두 이 기법을 의도적으로 사용했고, 지금은 76문항이 제대로 연결된 소리 함정을 갖고 있습니다.

덧붙이자면 이 함정에는 망가뜨리기 쉬운 지점이 있습니다. 비슷한 소리의 단어는 오답 쪽에 두어야 합니다. 실수로 정답에 넣으면 함정이 아니라 점수 선물이 됩니다 — 잘못 들은 사람이 오히려 보상을 받습니다. 우리 검사 스크립트는 이 유형을 특별히 막습니다.

---

시판 모의고사와 대조하기: 150문항

여기까지는 모두 우리 자신의 잣대입니다. 그 잣대가 옳은 방향을 가리키는지는 바깥의 것으로 교정해야 합니다.

손에 시판되는 6회분 모의고사가 있고, 그 해설편에는 문항마다 난이도(하／중／상)가 인쇄되어 있습니다. Part 2는 1회 25문항이므로 6회면 150문항 — Part 1 글에서 쓸 수 있었던 36문항의 네 배 표본입니다.

150문항의 인쇄된 난이도를 모두 읽어 우리 은행과 나란히 놓았을 때 — 첫 비교는 좋아 보이지 않았습니다. 당시 우리 은행은 1,075문항이었고, 한 항목이 뚜렷하게 어긋나 있었습니다. 중간 난이도는 37.1%로 참조서의 48.0%에 비해 낮았고, 신뢰구간을 벗어난 유일한 행이었습니다. 우리 은행은 참조서보다 더 양극화되어 있었습니다. 문항이 쉬운 쪽이나 어려운 쪽으로 쏠리고 가운데가 얇았습니다. 한편 어려운 문항은 25.9%로, 구간 상한 26.4%에서 겨우 0.5포인트 아래였습니다.

그래서 이에 대응해 중간 난이도 문항 150개를 새로 작성했습니다. 그 결과:

	참조서(150문항)	우리(1,225문항)
하／쉬움	32.7%	32.5%
중／보통	48.0%	44.8%
상／어려움	19.3%	22.7%

세 항목 모두 이제 참조서의 95% 신뢰구간 안에 들어갑니다. 쉬운 문항은 거의 동일하고(참조 32.7%, 우리 32.5%), 중간 문항은 구간 밖이던 37.1%에서 44.8%로 이동해 40.2%–55.9% 구간 안에 들어왔습니다. 어려운 문항은 분모가 커진 것만으로 25.9%에서 22.7%로 내려가, 더는 상한에서 0.5포인트 거리에 있지 않습니다.

여기서 분명히 짚어 둘 가치가 있는 것은 이 일들의 순서입니다. 비율을 먼저 맞춰 놓고 참조서를 찾은 것이 아닙니다. 먼저 대조했고, 가운데가 얇다는 것을 발견했고, 그것을 채우기 위해 썼습니다. 150문항 전부가 중간 난이도였고, 어려운 문항은 한 개도 추가하지 않았습니다.

참고로 참조서의 해설은 오답을 설명할 때 「소리가 비슷한 이 단어 조합」이라고 직접 지목하는 일이 잦습니다. 6회 어느 회에도 그렇게 표시된 문항이 여럿 있습니다. 그것이 바로 우리가 한 문항도 만들지 않았던 소리 함정입니다. 실제 상업 시험에서는 상비 수단이지 이론이 아닙니다.

---

거꾸로 읽기: Part 2는 어떻게 들을 것인가

여기까지는 문항이 어떻게 어렵게 만들어지는지의 이야기였습니다. 이 절은 가장 쓸모 있는 부분, 알고 난 뒤 무엇을 바꿀 것인가입니다.

첫 단어가 모든 것을 결정한다

Part 2의 첫 단어는 다른 어떤 단어보다도 값이 큽니다.

Who / When / Where / Which / Why / How가 들리면 — 그 자리에서 답의 종류를 머릿속에 고정합니다. 사람, 시간, 장소, 사물, 이유, 방법. 고정해 두면 종류가 맞지 않는 선택지는 자세히 들을 필요조차 없습니다. 이 유형은 우리 은행에서 가장 큰 무리이며, 거의 모두 쉬움과 보통에 들어 있습니다.

들린 것이 의문사가 아닐 때 — Has / Are / Didn't / Haven't, 또는 아예 의문문의 어조조차 아닐 때 — 그것이 경계를 높이라는 신호입니다. 이 유형은 예고를 주지 않으며, 어려운 문항에 크게 몰려 있습니다.

Yes나 No를 기다리지 말 것

이것이 Part 2에서 가장 고칠 가치가 있는 습관입니다.

Yes/No 의문문이 들리면 선택지에서 Yes나 No를 찾으러 가는 것은 자연스러운 반사이지만, 어려운 문항에서 그 반사는 곧장 오답으로 데려갑니다. 출제자는 당신이 그렇게 찾을 것을 알고 Yes를 오답 쪽에 두기 때문입니다.

옳은 동작은 이렇습니다. Yes/No 의문문이 들리면 스스로에게 묻는 것은 「어느 선택지에 Yes가 있는가」가 아니라 「어느 선택지가 답을 알려 주었는가」입니다. 「아직 그쪽 사무실의 회신을 기다리고 있다」에는 Yes가 없지만, 그것은 답을 알려 주었습니다.

반복된 단어는 우선 함정으로 볼 것

질문이 budget이라 하고 어떤 선택지도 budget이라 한다면, 그 반복은 단서가 아니라 함정인 경우가 많습니다.

이것이 Part 2에서 가장 흔한 방해 수법입니다. 확실히 들린 단어를 써서 그 선택지를 귀에 익게 만드는 것입니다. 진짜 답은 반복을 하나도 갖지 않는 경우가 많습니다 — 앞의 문항처럼, 오답 둘이 walkthrough와 vendor를 반복하는 동안 정답인 We're still waiting to hear back from their office는 하나도 반복하지 않았습니다.

같은 이치가 소리가 비슷한 단어에도 적용됩니다. 질문의 어떤 단어와 가깝지만 조금 다른 단어(hire에 대한 higher)가 들리면 경계를 높이십시오.

부가 의문문: 답하는 것은 사실이지 그 부정이 아니다

You reserved the suite, didn't you?나 Haven't the samples arrived? 같은 문장에서는 didn't와 Haven't에 얽매이지 마십시오.

머릿속에서 가장 평평한 형태로 고쳐 씁니다 — 「스위트룸을 예약했는가」「샘플이 도착했는가」 — 그런 다음 Yes/No 의문문과 똑같이 처리합니다. 부정의 조동사는 묻고 있는 사안 자체를 바꾸지 않습니다.

셋 다 듣고 나서 정할 것

질문도 선택지도 인쇄되지 않기 때문에, 많은 사람이 「맞는 것 같은」 선택지가 들린 시점에 먼저 정해 버리고 긴장을 풉니다.

Part 2의 어려운 문항은 가장 답 같은 오답을 (A)에 두는 일이 잦습니다. (C)까지 와서 그쪽이 정답임을 깨달을 무렵이면 (A)가 남긴 인상은 이미 떨치기 어렵습니다. 셋 다 듣고 정하는 대가는 몇 초뿐입니다.

---

정직한 단서

• 참조서는 출판사의 모의고사이지 ETS 공식 자료가 아닙니다. 그 난이도는 편집자의 판단이지 실제 수험자의 정답률이 아닙니다. 이 점은 〈난이도 총론〉에서 자세히 설명합니다.
• 150문항이 뒷받침할 수 있는 것은 거친 결론뿐입니다. 위 표가 말할 수 있는 것은 「세 항목 모두 비중이 대체로 비슷하다」까지이며, 그보다 세밀한 차이는 뒷받침하지 못합니다. 신뢰구간도 좁지 않습니다 — 중간 난이도 칸은 40.2%–55.9%로 폭이 15포인트가 넘습니다.
• 오늘 세 항목이 난이도와 완전히 일치하는 것은, 지금의 분류가 그 세 항목으로 계산되기 때문입니다. 진짜 증거는 다시 분류하기 전의 숫자입니다. 당시 라벨은 출제자의 감으로 붙인 것이었고, 「답이 직접 응하지 않는다」는 그들이 쉽다고 한 문항의 약 5%, 어렵다고 한 문항의 약 56%에 나타났습니다. 그 열 배 차이가 발견이고, 오늘의 완전한 일치는 정의일 뿐입니다.
• 소리가 비슷한 단어에 대해 참조서를 문항마다 세지는 않았습니다. 「어느 회에도 여럿 있다」는 읽는 과정에서 적어 둔 관찰이지 150문항의 해설을 전부 훑어 얻은 숫자가 아니므로, 여기서는 비율을 내지 않습니다.
• 이 비율들은 우리 은행을 설명하는 것이지 실제 시험이 아닙니다. 우리가 어려운 문항을 어떻게 구성하는지에 대한 설명이며, 실제 ETS 시험이 이런 구성이라고 주장하지 않습니다.
• 우리 듣기 음성은 실제 시험보다 깨끗합니다. 이 점은 〈난이도 총론〉에서 더 자세히 다룹니다. 합성 음성에는 실제 녹음의 축약과 배경 소음이 없으므로, 우리 듣기는 우리 스스로 측정할 수 없는 축에서 실제 시험보다 조금 쉽습니다.
• 「오답이 질문에 닿아 있는가」는 글자 그대로의 겹침으로 계산합니다. 단어를 하나도 공유하지 않으면서도 의미상으로는 충분히 경쟁하는 선택지는 잡아내지 못합니다. 거친 잣대이므로 명백한 가짜 어려운 문항을 막는 데만 쓰고, 개별 문항을 부정하는 데는 쓰지 않습니다.

---

한 문장 요약

Part 2의 난이도는 단어에 있지 않고, 「알아들었다」와 「답이 될 수 있다」 사이의 한 걸음에 있습니다. 가장 효과적인 조정은 둘입니다. 첫 단어가 의문사라면 그 자리에서 답의 종류를 고정할 것. 의문사가 아니라면 이 문항은 단단하리라는 것을 알 것. 그리고 Yes나 No가 나오기를 기다리는 일을 그만두고, 답을 알려 준 선택지를 찾을 것 — 그것이 단어를 하나도 반복하지 않더라도.