С радостью сообщаем, что Мониторинг образовательных достижений обучающихся (МОДО) получил международное признание, завершив все этапы аккредитации, проведенной Международным исследовательским центром экспертизы и сертификации (Research Centre for Examination and Certification RCEC, Нидерланды (https://www.rcec.nl/en/).
Командой Центра совместно с экспертами RCEC была проделана огромная работа по модернизации МОДО и приведению его в соответствие с международными стандартами.
Что такое МОДО?
МОДО — ключевой инструмент для оценки качества знаний обучающихся в соответствии с требованиями Государственного общеобязательного стандарта образования (ГОСО). Целью МОДО является обеспечение объективной и независимой оценки уровня грамотности учеников 4-х и 9-х классов по следующим направлениям:
МОДО позволяет оценить эффективность учебных программ, выявить сильные и слабые стороны учебного процесса и предложить пути повышения качества образования.
Процедура международной аккредитации
Аккредитация МОДО, реализованная в 2023–2024 гг., включала семь этапов:
1. Разработка рамки оценивания.
2. Создание тестовых вопросов.
3. Разработка дизайна тестирования.
4. Формирование выборки тестовых заданий.
5. Администрирование тестирования на цифровой платформе.
6. Шкалирование результатов.
7. Глубокий анализ и публикация итогов.
Каждый этап был тщательно проработан в соответствии с международными стандартами. Особое внимание уделялось методологии тестирования, включая анализ и доработку тестовых вопросов, проведение психометрического анализа, а также стандартизацию процедур администрирования.
Аккредитационный орган RCEC
RCEC является ведущей организацией в области обеспечения и повышения качества инструментов оценивания. Команда RCEC, состоит из экспертов по психометрике, аналитиков данных и сертифицированных аудиторов. Кроме того, команда RCEC является частью большой международной научной сети экспертов по оценке.
Были проведены две установочные встречи, на которых команда МОДО и RCEC обсудили требования и критерии аккредитации. Все отчеты и материалы по каждому этапу направлялись в RCEC для обратной связи.
Результаты работы
1. Рамка оценивания и тестовые спецификации
Рамка оценивания служит концептуальной основой для обновленного формата МОДО. Рамка определяет общее видение, содержание и методологию разработки тестовых вопросов, а также проведение обработки и анализа результатов МОДО 4 и 9 классов начального и основного среднего образования. Разработанная рамка оценивания прошла два раунда согласования с RCEC.
2. Тестовые вопросы
Тестовые вопросы МОДО разработаны в соответствии с ГОСО и направлены на оценку компетенций обучающихся по трем ключевым направлениям: читательской, математической и естественнонаучной грамотности. Особое внимание уделялось способности учащихся применять знания и навыки в реальных жизненных ситуациях. Для разработки вопросов были изучены материалы международных исследований, вышедших из режима конфиденциальности. Тестовые задания прошли как внутреннюю экспертизу, так и внешнюю – RCEC, а также апробацию для определения качества тестовых заданий.
3. Дизайн тестирования
Проектирование тестирования проводилось с учетом научно обоснованных подходов. Были определены якорные вопросы для обеспечения сопоставимости результатов, а дизайн буклетов обеспечил единый уровень сложности заданий. Документ с методологией был согласован с RCEC.
4. Администрирование на цифровой платформе
Тестирование проводилось в компьютерном формате с использованием стандартизированных сценариев для администраторов. В апреле 2024 года международные эксперты наблюдали за процессом в одной из школ. По итогам наблюдений были получены рекомендации, которые уже внедряются для повышения качества процедур.
5. Шкалирование результатов
После проведения МОДО был выполнен психометрический анализ данных и шкалирование сырых баллов. Этот процесс включал три ключевых этапа:
1. Дескрипторный анализ и оценка параметров тестовых вопросов с использованием 3-параметрической модели IRT. Данный этап позволил определить наилучшие подходы к моделированию данных и выявить психометрические характеристики тестовых заданий.
2. Оценка конструктной валидности с применением модели подтверждающего факторного анализа (CFA). Это обеспечило проверку соответствия структуры тестов теоретической модели.
3. Анализ надежности, выполненный с использованием коэффициентов Альфа и Омега Кронбаха, подтвердил стабильность и согласованность результатов тестирования.
Шкалирование результатов помогло привести данные к единой шкале, что упростило их интерпретацию и анализ.
Все расчеты были выполнены на языке статистического программирования R. Подготовленный отчет с описанием методологии анализа и шкалирования был направлен RCEC для согласования. Этот этап подтвердил соответствие данных международным стандартам качества и надежности.
6. Анализ и публикация результатов
На заключительном этапе был подготовлен и направлен краткий обзор аналитического отчета, подготовленного Национальной академией образования имени Ы. Алтынсарина, а также даны развернутые ответы на запрос RCEC, касательно данного этапа.
7. Решение об аккредитации
В 2024 году RCEC подтвердил, что МОДО соответствует международным стандартам качества и надежности. 22 января 2025 года состоялась встреча министра просвещения РК Гани Бейсембаева с директором Международного исследовательского центра экспертизы и сертификации (RCEC) г-м Арнольдом Брауером. В рамках встречи прошла церемония вручения сертификата об успешной аккредитации национального инструмента оценивания - МОДО (https://www.facebook.com/share/p/1DcEWxr847/).
Значимость аккредитации
Успешное завершение аккредитации МОДО подтверждает соответствие инструмента международным стандартам качества и надежности. Это гарантирует объективность и справедливость его результатов. Все этапы и процедуры МОДО реализованы на основе научно обоснованных подходов, аналогичных тем, которые применяются в исследованиях PISA, TIMSS и PIRLS.
