Всегда приятно посмотреть, как в больших организациях играют в перекладывание ответственности друг на друга. Сейчас мне этого здорово не хватает. Меня всегда поражало, насколько больше тратится сил на доказательство того, что случившееся не является чьей-то виной (и зачастую вообще, оказывается, лежало вне сферы его ответственности), чем на собственно решение проблемы. Чем более масштабной становилась проблема и чем более крупные игроки были вовлечены в ее решение, тем сильнее вероятность решения проблемы стремилась к нулю.

В некотором правительственном агентстве, назову их Национальное Разведывательное Бюро, несколько агентов стали участниками громких международных скандалов. Это привело к публичному порицанию и строгим указанием сверху разобраться со случившимся. Будучи контрактником, работающим на НРБ, Г.Р.Г. получил возможность наблюдать за развитием сюжета изнутри.

Кураторы агентов говорили, что это определенно была не их вина, просто агентов плохо надрессировали в отделе подготовки. Подготовка заявила, что курс подразумевает адекватных слушателей, а этих агентов отдел кадров вообще не должен был нанять. Отдел кадров ответил, что их методики найма абсолютно беспристрастны, а во всем виноват отдел тестирования, который разработал никудышные тесты. Тестирование уверило всех, что с тестами было все в порядке, а проблема заключалась в самом процессе проведения тестов, т.е. за все в ответе были экзаменаторы. Те согласились, но не потому, что это была их вина, а потому что процесс проведения тестов был полностью ручным. В конце концов, это были 1980-е, и все автоматизировалось.

Команде Г.Р.Г. поручили автоматизировать процесс тестирования на проффесиональную пригодность перед наймом. Компьютерная система, которую им поручалось разработать, должна была по большей части решить проблему с некоторыми некомпетентными на вид агентами.

Естественно из-за совершенно секретной природы тестов и самого процесса, материалы могли демонстрироваться только из первых рук. Г.Р.Г. встретился со специально подготовленным экзаменатором, который отвел его в специальное здание для тестирования и посадил в специальную комнату, чтобы тот ознакомился со специальными тестами. Как того требовал специальный регламент, экзаменатор вручил Г.Р.Г. специальный буклет и вышел из специальной комнаты.

Первое, что бросилось в глаза Г.Р.Г., это насколько небрежно были составлены вопросы с несколькими вариантами ответов. На второй вопрос вообще не было правильного ответа, для ответа на третий требовалось наличие начальных знаний об океанических течениях и фазах луны, пятый подразумевал, что тестируемый знает какого цвета общественные почтовые ящики, и т.д. Но на самом деле Г.Р.Г. просто заблуждался, отдел тестирования уже сертифицировал и утвердил эти тесты.

Затем Г.Р.Г. решил, что возможно тестируемые разговаривали во время тестирования, подсказывая друг другу. В конце концов, экзаменатор не оставался в комнате при проведении тестирования. Но Г.Р.Г. снова заблуждался, в комнате ведь висел большой плакат «Никаких разговоров при тестировании».

Перелистывая страницы, Г.Р.Г. подумал, что возможно тестируемые просто каким-то образом добыли ответы. Чем еще можно было объяснить столь высокие результаты по столь несдаваемому тесту? Г.Р.Г. подошел к шкафу, где хранились буклеты, и осмотрел его.

Шкаф был встроен в маленькое углубление и в основном состоял из корявой, недоделанной фанерной двери. Плотник, который ее изготовил, наверное, брал по самому льготному тарифу, потому что кривая дверь была наскоро приделана двумя амбарными петлями и с каждой стороны была примерно на 7 сантиметров меньше чем нужно. Хотя на двери висел замок, любой мог запросто просунуть руку в щель и взять один из буклетов с ответами. Но Г.Р.Г. просто в очередной раз заблуждался, все буклеты с ответами на тесты были пронумерованы и всегда пересчитывались при проверке результатов тестов.

И тут Г.Р.Г. заметил кое-что под шкафом, Xerox 9200, который мог откопировать 240 страниц в минуту и не хотел за это ни денег, ни карточек доступа. Похоже, это был идеальный способ списать тест. Но Г.Р.Г. как всегда стал жертвой своего заблуждения, отдел кадров уже проверил всех кандидатов «на вшивость» и они точно знали, что кандидаты не были склонны к обману.

Наконец Г.Р.Г. и его команда закончили создание автоматизированной системы тестирования. На пути к этому было много преград – например система должна была работать на 3.66 МГц системе под CP/M с 64кб памяти – но они справились. Однако по каким-то неведомым причинам, это не разрешило дилеммы с вменяемостью агентов НРБ. Годы спустя результаты сдачи тестов все еще оставались невероятно высокими, а агенты продолжали становиться участниками международных скандалов. Г.Р.Г. не пробыл там достаточно долго для того, чтобы узнать, была ли когда-либо решена проблема, но он слышал, что кто-то все еще напряженно ломает голову в поисках наилучшего её решения.

Оригинал:http://worsethanfailure.com/Articles/GRG_and_the_Mystery_of_the_High_Test_Scores.aspx
Перевод:Евгений Виговский