Как Кембридж постепенно обесценивал свои экзамены по английскому уровня С2 Хитрые механизмы создания пальмового сыра в сфере образования
Все, кому не лень, начиная с UCLES, Pearson, ETS, British Council, ALTE, OECD/PISA, ILR, ACTFL, NB OPS, CLB, PSC, и заканчивая мелкими школами и NATO, разрабатывают и проталкивают свои собственные тесты или даже экзамены якобы для определения уровней владения языком, и некоторые пробуют как-то бесстыже соотносить свои градации с другими.
Из-за коммерциализации услуг в области образования и политизации, UCLES делает не только относительно качественную продукцию вроде экзаменов PET, KET, FCE, CAE и CPE, но и "всеуровневый" экзамен IELTS, который, как и безразмерный TOEFL, толком ничего не тестирует, поэтому их результаты действительны только на протяжении двух лет. Согласно Cambridge English Scale, уровень С2 Proficiency располагается между 200 и 230 баллами. Причём, как вы видите на диаграмме, максимальный балл на IELTS соответствует лишь 210 баллам, или низшей оценке на CPE.
Только идиот будет всерьёз сопоставлять заранее подготовленный монолог на устном экзамене TOEFL и спонтанный диалог на устном экзамене IELTS и тем более CPE. Если сейчас на устном CPE вам оценку за произношение не снизят, если ваша речь будет просто понятна экзаменаторам, которые уже привыкли к разнообразным акцентам, то ещё 25 лет назад за заметный акцент оценку таки снижали серьёзно. Причём раньше аудиозапись отправлялась в Кембридж и оценки ставила там комиссия, а теперь оценки ставят два экзаменатора, присутствующие на экзамене.
Иглы кембриджского Кащея
Если на устном СРЕ вам ставят оценку за communication/interaction, то на IELTS проверяют всего лишь по четырём параметрам. При этом нигде не оценивают, например, идиоматичность. А статистика по аппелляциям засекречена, и вы никогда не узнаете, сколько аппеляций были поданы или оказались успешными. Подумайте, почему. Даже после курса "калибрирования оценивания" расхождения в оценке вашего говорения и письма разными экзаменаторами часто будут достигать 50%, но об этом упоминать в Кембридже не принято. Если бы экзаменаторы публично обосновали свои оценки, клиенты сразу бы увидели, что король-то голый. И денег больше бы на особо наивных Кембридж не заработал.
Хотя на сегодняшний день более одного миллиарда человек изучают английский, всего 1 человек из 23000 изучающих (45000 человек в общей сложности) ежегодно пытаются сдать 4 экзамена на CPE в 80 странах, причём треть эти экзамены заваливает (в России - 40%), несмотря на то, что сдать 4 экзамена сейчас намного легче, чем 5 экзаменов на CPE 25 лет назад.
Не так давно из экзаменов на СРЕ уже убрали самый сложный экзамен, по Use of English, поскольку многие раньше жаловались, что CPE шибко сложон быль, поэтому вы можете встретить немало людей, на отлично его сдавших (неизвестно как: с помощью микронаушников или без), которые не в состоянии говорить более-менее сложными и правильными предложениями с более-менее правильным произношением, о чём вам скажет любой мало-мальски образованный англичанин и даже американец.
Если в 1996 на экзаменах СРЕ требовалось написать 2 сочинения по 350 слов каждое по 10 разным литературным произведениям, включая 2 пьесы Шекспира, которые вы должны были прочитать и запомнить дома цитаты из них (а в 1996 персонал British Council... забыл за 6 месяцев до экзамена предоставить кандидату список этих произведений), то сейчас, например, для первого сочинения на 280 слов вам подсунут под нос 2 текста длиной 100 слов и уровня, слегка превышающего уровень...С1! Некоторые помнят, что в СССР мороженое делали из настоящих сливок. Сейчас же настоящий сыр или масло в Украине или России можно найти только до того, как начальная фаза их продвижения и рекламы закончена и в упаковки кладут всё больше и больше пальмового масла. Хоть в чём-то ваш местный маслозавод не отличается от Кембриджского университета!
С 2013 литературу уже знать не надо, а сочинения можно уже писать по предоставленному коротенькому тексту. Из тем по Шекспиру на сочинении в СРЕ осталась одна, хотя в 1996 надо было знать (с цитатами наизусть) по крайней мере 3 пьесы. В 2024 литературу исключили полностью. Не может народ одолеть Шекспира. Простите, но если вы не читали много классической английской литературы, как вы можете знать язык? Если вы не прочитали сотни тысяч страниц умных текстов и не прослушали десятки тысяч часов умных носителей, то вам ничего "слух резать не будет". Невозможно выучить язык по десятку учебников. Современные экзамены CPE литературу уже не проверяют вовсе, то есть, читать и понимать вам нужно лишь коротенький экзаменационный текст.
Расплывчатости
Один и тот же текст можно перевести разными способами. Существуют разные виды перевода: свободный, художественный, точный, дословный, учебный. Догадайтесь, какой требовался на экзамене CPE. Очевидно, что слово "точный" подразумевает максимально близкий по смыслу и стилю в конкретном контексте. Но что вы ожидаете от "преподавателей", которые даже в родном языке не могут объяснить, в каком тексте можно употребить конкретное слово, но не его синоним - и почему? То же самое можно сказать и о синонимичных конструкциях. Синонимы всегда пересекаются лишь частично. Именно поэтому очень редко бывает, что какой-то текст можно максимально точно перевести более, чем одним способом. То есть, текст в одном языке почти всегда пересекается с одним текстом на другом языке больше, чем с другим, синонимичным текстом на этом другом языке. Но иногда разница настолько мала, что уловить её может далеко не каждый. Если у вас зрение 100%, а кого-то 1000%, то у кого-то может быть и 5%. А кто-то может быть вообще слепой.
Контекст сужает поле значений. Да, "I am a policeman" вне контекста можно перевести "Я полицейский", "Я являюсь полицейским", "Я есть полицейский", но каждый вариант отличается по стилю. Вы знаете, какой из них - формально-юридический, какой - религиозно-философско-литературный, а какой уместен в неформальной речи. А как передать в переводе разницу между "He is the police" и "He is a policeman"? Два синонимичных предложения очень редко приходится переводить одним, а одно и то же предложение - двумя синонимичными.
В 1913, в первой версии СРЕ, кандидаты два часа писали перевод экзаменационных текстов с английского на французский или немецкий, а потом ещё два часа - французского или немецкого на английский. Потом добавились латынь, испанский, итальянский. Кроме переводов сдавали грамматику, сочинение, фонетику, литературу. В 1966 ещё требовалось знание культуры. В 1975 слушание отделили от говорения.
С 1953 экзаменуемые могли выбирать между переводом и Use of English. А в 1984 переводы почему-то исключили, а вместо сложного, литературного языка сосредоточились на более простом, и экзамен урезали до менее, чем 6 часов. Так что же такого происходило в середине восьмидесятых, что привело к таким катаклизмам? В 1979 к власти пришла Тетчер и к 1984 резко урезала государственное финансирование университетов через University Grants Committee (UGC). Пришлось резко поднять плату за обучение, особенно для студентов-иностранцев. Но как заработать на CPE, который предлагался только для студентов, владеющих одним из пяти языков перевода? Хотелось расширить рынок, чтобы любой негр или китаец смог принести прибыль. Представляя, сколько денег можно состричь с лохов, начальство начало думать. Нанимать высококвалифицированных переводчиков-экзаменаторов и разработчиков для сотни языков оказалось нерентабельным. UGC был заменён Universities Funding Council (UFC), и принципы финансирования университетов кардинально поменялись: шла коммерциализация. Приблизительно в это же время в СССР предприятия переводили на самофинансирование тоже. Ведь был пик холодной войны, и затягивали пояса с обеих сторон, а в докторской колбасе картона, хрящей, крыс и табуреток становилось всё больше.
Динамичные, относительные стандарты
Современные экзамены создаются вовсе не для того, чтобы помочь вам понять, насколько хорошо вы сможете применять английский язык в реальных жизненных ситуациях, а для того, чтобы организации, предлагающие эти экзамены, заработали побольше денег, что возможно только если наибольшее количество людей будут довольны своими оценками по сравнению с оценками других сдавших этот же экзамен (т.е. ваши оценки показывают ваши относительные, а не абсолютные, результаты). Каждый год сложность и тип заданий меняется в зависимости от кривой успеваемости предыдущего года. И поэтому и пособия по подготовке нужны свежайшие.
Экзамены Кембриджа сравнительно объективны, хотя и в них многие ответы можно с достаточно высокой вероятностью правильно выбрать наугад, чтобы обеспечивалась нужная кривая распределения успеваемости. Разработка идёт полным ходом уже 30 лет: за это время Кембридж открыл, что... выражение it's just as well каким-то сверхестественным образом относится... к лексике уровня С1 и к лексике уровня В2. В Кембридже не засчитывают за ошибки то, что попадает в "серую" зону, которая может истолковываться по-разному.
Если кривая будет другая, многие овцы могут что-то заподозрить и начать бузить (например, как пишет The Telegraph, "the Confederation of British Industry called for the abolition of GCSEs in their present form amid fears they promoted a “cult of the average” – failing to meet the needs of bright pupils"). Если ещё другая, большинству не понравиться почувствовать себя идиотами, и они не только не придут на пересдачу, а будут всех отговаривать от сдачи этого экзамена.
Люди - иррациональные существа, и их поведение мало отличается от поведения шимпанзе. Там, где на кону десятки и сотни миллионов долларов в год, рациональная наука исчезает и всегда будет присутствовать значительная доля обмана, как в ресторанах Макдональдз. То, что весь British Council проводит большую политическую работу по продвижению британских экзаменов, означает, что ведётся ещё и большая экономическая и образовательная война, в которой все средства хороши. Война означает, например, что Кембриджу запрещается проводить исследования и сравнивать успеваемость 15-летних англичан на экзамене PISA по чтению (в которых разнообразные типы заданий, половина из которых проверяется не компьютером) пока что максимально приближаются к реальным жизненным ситуациям) и их же результаты на экзамене CAE или CPE по чтению. Если экзамены Кембриджа превратились в чистый бизнес, то PISA от экзаменов получает чистый убыток и ноль доходов.
Король на самом деле если и не совсем голый, то почти. Почему? Почему в описании соответствия уровней PISA и CEFR - одна абстрактная, расплывчатая псевдонаучная вода? Зачем, например, там пытаются говорить о фонетике, если никакого отношения к PISA это не имеет? Почему бы не сравнить чтение с чтением, а не с волейболом? Почему половину Reading в PISA компьютер проверить не может, и требуется участие живых экзаменаторов, а вот в CPE весь Reading компьютер проверяет? Почему, например, ChatGPT полагает, что уровню CEFR C2 соответствует уровень 6 в PISA Reading, а Gemini говорит, что уровень 4?
Уровень языка на четырёх разных частях экзамена
Фраза «...и говорит, как пишет» пришла в разговорную речь из комедии А. Ч. Грибоедова «Горе от ума» . Даже идиоту понятно, что пишет человек более сложным и правильным языком, чем говорит. Наивные люди не замечают того интересного факта: сложность текстов, которые вам дают на экзамене по чтению какого-то уровня, будет как минимум на пол уровня выше теста на слушание на том же экзамене, и как минимум на уровень выше ожидаемого от вас уровня вашей письменной речи. Уровень устной речи на экзаменах "уровня С2" вы можете посмотреть в Ютубе. Она редко где немного превышает уровень В2. Как так? Это мошенничество? Да, жуликов в сфере образования, даже в Кембридже, не меньше, чем среди торговцев подержанными автомобилями в Америке. Там, где речь идёт о больших деньгах, политике и идеологии, науке места нет. Поэтому, когда мы читаем на натовском сайте: "Example: SLP 3321 means level 3 in listening, level 3 in speaking, level 2 in reading and level 1 in writing.", мы понимаем, что здесь что-то не то. Существуют ли люди, которые бы говорили на иностранном лучше, чем читали? Да, это те люди, которые не умеют или почти не умеют читать и писать, но много лет общаются с иностранцами.
Если вы на экзамене, сдали все части на максимальные баллы, то это лишь означает, что уровень вашего чтения уровня на полтора, а то и два, выше уровня вашего говорения, а уровень вашего письма - ниже по меньшей мере на полуровня сложности текста, который вы можете понять на слух. Если вам в школе поставили пятёрку по сочинению по Гоголю, то это ещё не значит, что вы сами можете писать на уровне Гоголя. Так что если вы получили свой СРЕ, то вам не то что до Шекспира - даже до уровня журналиста The Guardian - ой как далеко.
Большинство тестов проводится в черно-белом (без оттенков серого) режиме "правильно-неправильно". Практически все существующие тесты пытаются оценить знание литературного языка полуформального или формального стилей, поэтому если вы сдали какой-то серьёзный экзамен, и "оказались"на каком-то уровне, то не думайте, что это вам очень поможет в общении в повседневной жизни, где говорят It was her who gave me the bottle.
В реальной жизни, когда вы пытаетесь понять, что говорит собеседник, никто никаких списков с тремя-четырьмя вариантами (что является подсказкой, не так ли?) какого-то слова, из которых вам надо будет выбрать один "правильный", перед вами держать не будет. Но если бы студентам предложили составлять и писать свои собственные ответы, то компьютер проверить их не смог бы, а дополнительным экзаменаторам надо было бы платить зарплату. Поэтому подготовка к экзаменам сейчас нацелена в основном на развитие умения угадывать из набора готовых ответов (электорат с малых лет готовят к политическим выборам, где ему даётся ограниченное количество разрешённых вариантов, чтобы не дай бог он не устроил очередную революцию), поскольку даже в Кембридже большинство ответов на экзаменах проверяется компьютером для снижения затрат и в связи с нехваткой высокообразованных и честных экзаменаторов.
Любой экзамен - это лотерея, то есть, при повторной сдаче у вас будут другие оценки. Вы никогда не найдёте статистики по результатам пересдач и апелляций. Она засекречена так же, как и состав Coca-Cola. Если устный (Speaking) экзамен на Certificate of Proficiency in English, который сейчас длится всего 16 минут, принимался русским экзаменатором в Москве, то оценки будут весьма отличны от оценок шотландского экзаменатора, ведь сейчас только "Part of the monitoring of Speaking Examiners may involve audio-recording of selected live interviews".
Pearson Longman, например, пытаясь проталкивать свои собственные экзамены, поясняют, что "быть на каком-то уровне" CEFR не значит (1) "быть способным выполнять ВСЕ задания" для этого уровня, а лишь (2) "что вероятность того, что вы сможете выполнить какое-то задание этого уровня, больше, чем вероятность того, что не сможете" (такое "определение", заметьте, применимо только к тем заданиям, которые проверяются компьютером по бинарной системе "правильно-неправильно"). Для того, чтобы добиться (1), нужно куда больше времени.
Любопытно, что Кембридж после войны ввёл трехуровневую систему: LCE, CPE и DES, проводил и экзамены высшего (это уже уровень D1, или как?) уровня, DES (The Diploma of English Studies). Но, поскольку за сорок лет заявки на него подали в общей сложности всего несколько сотен кандидатов во всём мире, то экзамен пришлось отменить в 1996.

