Мониторинг образовательных достижений обучающихся (МОДО) успешно прошел международную аккредитацию

С радостью сообщаем, что Мониторинг образовательных достижений обучающихся (МОДО) получил международное признание, завершив все этапы аккредитации, проведенной Международным исследовательским центром экспертизы и сертификации (Research Centre for Examination and Certification RCEC, Нидерланды (https://www.rcec.nl/en/). 

Командой Центра совместно с экспертами RCEC была проделана огромная работа по модернизации МОДО и приведению его в соответствие с международными стандартами.   

Что такое МОДО?

МОДО — ключевой инструмент для оценки качества знаний обучающихся в соответствии с требованиями Государственного общеобязательного стандарта образования (ГОСО). Целью МОДО является обеспечение объективной и независимой оценки уровня грамотности учеников 4-х и 9-х классов по следующим направлениям:

  • Читательская грамотность,
  • Математическая грамотность,
  • Естественнонаучная грамотность.

МОДО позволяет оценить эффективность учебных программ, выявить сильные и слабые стороны учебного процесса и предложить пути повышения качества образования.

Процедура международной аккредитации

Аккредитация МОДО, реализованная в 2023–2024 гг., включала семь этапов:

1. Разработка рамки оценивания.

2. Создание тестовых вопросов.

3. Разработка дизайна тестирования.

4. Формирование выборки тестовых заданий.

5. Администрирование тестирования на цифровой платформе.

6. Шкалирование результатов.

7. Глубокий анализ и публикация итогов.

Каждый этап был тщательно проработан в соответствии с международными стандартами. Особое внимание уделялось методологии тестирования, включая анализ и доработку тестовых вопросов, проведение психометрического анализа, а также стандартизацию процедур администрирования.

Аккредитационный орган RCEC

RCEC является ведущей организацией в области обеспечения и повышения качества инструментов оценивания. Команда RCEC, состоит из экспертов по психометрике, аналитиков данных и сертифицированных аудиторов. Кроме того, команда RCEC является частью большой международной научной сети экспертов по оценке.

Были проведены две установочные встречи, на которых команда МОДО и RCEC обсудили требования и критерии аккредитации. Все отчеты и материалы по каждому этапу направлялись в RCEC для обратной связи.

Результаты работы

1. Рамка оценивания и тестовые спецификации

Рамка оценивания служит концептуальной основой для обновленного формата МОДО. Рамка определяет общее видение, содержание и методологию разработки тестовых вопросов, а также проведение обработки и анализа результатов МОДО 4 и 9 классов начального и основного среднего образования. Разработанная рамка оценивания прошла два раунда согласования с RCEC.

2. Тестовые вопросы 

Тестовые вопросы МОДО разработаны в соответствии с ГОСО и направлены на оценку компетенций обучающихся по трем ключевым направлениям: читательской, математической и естественнонаучной грамотности. Особое внимание уделялось способности учащихся применять знания и навыки в реальных жизненных ситуациях. Для разработки вопросов были изучены материалы международных исследований, вышедших из режима конфиденциальности. Тестовые задания прошли как внутреннюю экспертизу, так и внешнюю – RCEC, а также апробацию для определения качества тестовых заданий.

3. Дизайн тестирования 

Проектирование тестирования проводилось с учетом научно обоснованных подходов. Были определены якорные вопросы для обеспечения сопоставимости результатов, а дизайн буклетов обеспечил единый уровень сложности заданий. Документ с методологией был согласован с RCEC.

4. Администрирование на цифровой платформе 

Тестирование проводилось в компьютерном формате с использованием стандартизированных сценариев для администраторов. В апреле 2024 года международные эксперты наблюдали за процессом в одной из школ. По итогам наблюдений были получены рекомендации, которые уже внедряются для повышения качества процедур.

5. Шкалирование результатов 

После проведения МОДО был выполнен психометрический анализ данных и шкалирование сырых баллов. Этот процесс включал три ключевых этапа:

1. Дескрипторный анализ и оценка параметров тестовых вопросов с использованием 3-параметрической модели IRT. Данный этап позволил определить наилучшие подходы к моделированию данных и выявить психометрические характеристики тестовых заданий.

2. Оценка конструктной валидности с применением модели подтверждающего факторного анализа (CFA). Это обеспечило проверку соответствия структуры тестов теоретической модели.

3. Анализ надежности, выполненный с использованием коэффициентов Альфа и Омега Кронбаха, подтвердил стабильность и согласованность результатов тестирования.

Шкалирование результатов помогло привести данные к единой шкале, что упростило их интерпретацию и анализ.

Все расчеты были выполнены на языке статистического программирования R. Подготовленный отчет с описанием методологии анализа и шкалирования был направлен RCEC для согласования. Этот этап подтвердил соответствие данных международным стандартам качества и надежности.

6. Анализ и публикация результатов 

На заключительном этапе был подготовлен и направлен краткий обзор аналитического отчета, подготовленного Национальной академией образования имени Ы. Алтынсарина, а также даны развернутые ответы на запрос RCEC, касательно данного этапа.

7. Решение об аккредитации 

В 2024 году RCEC подтвердил, что МОДО соответствует международным стандартам качества и надежности. 22 января 2025 года состоялась встреча министра просвещения РК Гани Бейсембаева с директором Международного исследовательского центра экспертизы и сертификации (RCEC) г-м Арнольдом Брауером. В рамках встречи прошла церемония вручения сертификата об успешной аккредитации национального инструмента оценивания - МОДО (https://www.facebook.com/share/p/1DcEWxr847/).

Значимость аккредитации

Успешное завершение аккредитации МОДО подтверждает соответствие инструмента международным стандартам качества и надежности. Это гарантирует объективность и справедливость его результатов. Все этапы и процедуры МОДО реализованы на основе научно обоснованных подходов, аналогичных тем, которые применяются в исследованиях PISA, TIMSS и PIRLS.