Комментарии по использованию материалов для проверки решений

 

В соответствии с рекомендациями центральной предметно-методической комиссии жюри муниципального этапа олимпиады школьников по программированию имеет право как проверять решения задач вручную, так и выбрать автоматическую систему тестирования для проверки решений участников олимпиады. В связи с этим, вместе с комплектом задач для муниципального этапа передается и комплект материалов для поверки решений.

 

Комплект материалов для проверки решений задач содержит:

  • тестовые наборы;
  • проверяющие модули (чекер).

 

Каждой задаче соответствует каталог, в котором содержатся файлы с расширениями in и out, а также каталог “check”, в котором содержатся проверяющие модули. Файлы с расширением in – это текстовые файлы, которые содержат тестовые входные данные для задачи, а файлы с расширением out содержат эталонный результат выполнения, соответствующий указанным входным данным. Например, если программа участника на вход получает данные из файла 10.in, то результатом ее работы должны быть данные представленные в файле 10.out. При этом, программа участника должна читать входные данные только из файлов, имя и расширение которых указаны в условии задачи, а выводить результат только в файлы, имя и расширение которых также указаны в условии задачи. Переименование файлов входных данных из тестового набора для тестирования программ участников лежит целиком на жюри или автоматизированной тестирующей системе, если таковая выбрана жюри.

 

Часто возникает вопрос: можно ли проводить олимпиаду без требования чтения/записи данных из/в файлы? На региональном (областном) и всероссийском этапе олимпиады участники не способные работать с файлами не получают баллов даже за правильно решенную задачу. Это требование центральной предметно-методической комиссии. Региональной предметно-методической комиссии очень хотелось бы, чтобы все участники регионального этапа, т.е. победители муниципального, были способны работать с файлами и не уехали с олимпиады с 0 баллов.

 

Проверяющие модули разработаны в соответствии с рекомендациями центральной предметно-методической комиссии по информатике. Проверяющие модули используют библиотеку testlib, которая также будет использоваться на региональном и всероссийском этапах олимпиады по информатике. В каталоге соответствующем каждой задаче, есть подкаталог “check”, который содержит три файла: библиотеку testlib.pas, проверяющий модуль для этой задачи check.pas, скомпилированный проверяющий модуль check.exe. Последний из описанных файлов скомпилирован из первого и второго с использованием компилятора FreePascal 2.4. Если выбранная жюри тестирующая система не может использовать уже скомпилированный файл check.exe для проверки решений, то жюри может воспользоваться исходным текстом проверяющего модуля check.pas и библиотекой testlib.pas для создания своей версии скомпилированного проверяющего модуля.

 

Проверяющий модуль работает из командной строки. Формат запуска следующий:

check.exe <файл_входных_данных> <файл_результата_участника> <файл_эталонного результата>

Например, можно запустить проверяющий модуль следующим образом:

check.exe 01.in output.txt 01.out

 

Перед запуском все четыре файла должны находиться в одном каталоге и запуск check.exe должен осуществляться из этого же каталога.

 

Методика проверки решений описана в методических рекомендациях по разработке заданий для 1 и 2 этапов ВОШ 2011-2012 стр. 27 п. 7.1. Приведем здесь содержание этого пункта рекомендаций.

Начало цитаты:

«Методика проверки решений каждой олимпиадной задачи зависит от типа этой задачи. Если решением задачи является программа, то оценка правильности ее решения осуществляется путем исполнения программы с входными данными, соответствующими каждому тесту из представленного предметно-методической комиссией соответствующего этапа комплекта тестов с последующим анализом получаемых в результате этого выходных файлов. Если решением задачи является набор выходных файлов для заданного в условии задачи набора входных файлов, то оцениваются только представленные на проверку выходные файлы. Если для обучающихся 5 – 8 классов предлагаются иные типы задач и формы представления их решений, то методика их проверки и оценивания должна обеспечивать максимальную объективность оценки их решений.

Если участники олимпиады должны сдавать на проверку решения в виде исходного текста программы на одном из разрешенных языков программирования, то проверка решений каждого участника должна осуществляться в следующей последовательности:

  • компиляция исходного текста программы;
  • последовательное исполнение программы с входными данными, соответствующими тестам из набора тестов для данной задачи, подготовленного предметно-методической комиссией по информатике соответствующего этапа;
  • сравнение результатов исполнения программы на каждом тесте с правильным ответом.

 

При компиляции исходного текста программы, которую участник сдал на проверку, необходимо учитывать следующее:

1)           Жюри должно использовать вполне определенные команды компиляции, соответствующие выбранному участником языку программирования. Таблица команд компиляции доводится до сведения всех участников перед началом каждого тура и должна содержаться в Памятке участнику.

2)           Желательно учитывать, что размер файла с исходным текстом программы не должен превышать 256 Кбайт. Время компиляции программы не должно превышать одной минуты.

 

В случае нарушения принятых жюри ограничений решение участника считается неправильным и никакие баллы за эту задачу участнику не начисляются. Информация об этих ограничениях также должна быть размещена в Памятке участнику.

При исполнении программы на каждом тесте, в первую очередь, жюри должно определить, нарушаются ли присутствующие в условии этой задачи ограничения на время работы программы на отдельном тесте и размер доступной программе памяти в процессе ее исполнения. В случае нарушения имеющих место ограничений баллы за этот тест участнику не начисляются.

Если приведенные в условии задачи ограничения не нарушаются в процессе исполнения программы с входными данными, соответствующими конкретному тесту, то после завершения исполнения программы осуществляется проверка правильности полученного ответа. Эта проверка может осуществляться как путем сравнения полученных выходных данных с правильными ответами, так и с использованием предоставляемых предметно-методической комиссией соответствующего этапа проверяющих программ, если для проверки решений участников предполагается использовать специализированную программную среду соревнований с возможностью проверки решений в автоматическом режиме.

Все представленные на проверку решения участников сначала должны проходить предварительное тестирование на тестах из примера или примеров, приведенных в условии задачи. Если на этих тестах решение участника выдает правильный ответ, то тогда это решение принимается жюри на окончательную проверку, которая после завершения соответствующего тура осуществляется на всех тестах из заданного набора тестов для этой задачи. В противном случае, решение участника считается неверным, и за него участнику не начисляются какие-либо баллы.

При проверке решений участников с использованием специализированной программной среды соревнований процесс предварительной проверки осуществляется в течение тура по мере посылки решений на сервер соревнований. В зависимости от возможностей проверяющей системы на окончательную проверку может приниматься либо последнее прошедшее предварительное тестирование решение одной и той же задачи, либо то, которое он должен указать. В любом случае, участник Олимпиады должен быть проинформирован до начала тура, каким образом будет определяться решение, принятое проверяющей системой для окончательной проверки. Эту информацию также следует разместить в Памятке участнику.

Допускается также осуществлять во время тура окончательную проверку решений задач с использованием специализированной программной среды соревнований с сообщением участникам результатов их оценивания. При этом каждый участник должен получать информацию только о результатах проверки своих решений. Порядок такой проверки определяется возможностями программной среды соревнований и должен быть доведен до сведения участников перед началом соревнований.

В зависимости от возможностей организаторов школьного или  муниципального этапов олимпиады допускаются отличные от вышеописанных методики проверки решений задач для обучающихся 5 – 8 классов. Например, при проверке задач школьного этапа для обучающихся 5 – 6 классов, в процессе решения которых предполагается использование программных систем типа КуМир, Скретч, Роботландия и т.п., муниципальная предметно-методическая комиссия должна передать жюри школьного этапа методику проверки таких задач с учетом установленных форм представления их решений участниками».

Конец цитаты.



Карта сайта Версия для печати © 2009 - 2017 Администрация Ростовской области