Надежда Ефремова - Тестовый контроль в образовании
• распределенная по региону система опорных баз проведения стандартизированных массовых контрольно–оценочных процедур не только для итоговой аттестации, но и в процессе обучения;
• материально–техническое и информационно–технологическое оснащение распределенных пунктов проведения и автоматизированной обработки результатов тестирования;
• включение в тестовый контрольно–оценочный процесс всех образовательных учреждений, использование валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;
• система подготовки специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям и использования их в образовательной практике;
• банк валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур, обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса;
• региональный банк валидной образовательной статистики и доступ к нему различных категорий пользователей (школы, управления образованием, вузы, родители, учащиеся, учителя и т.д.);
• система обучения и переподготовки педагогических кадров технологии и технике современного тестирования, использования методов статистической обработки анализа и интерпретации результатов;
• системная подготовка большого числа специалистов для обеспечения правильности проведения контрольно–оценочных процедур по новым технологиям, разработки тестов и определения их качества;
• новые формы и методы зачисления абитуриентов в вузы и ссузы по результатам независимой аттестации выпускников.
Новые тенденции в управлении, естественно, требуют разработки новых критериев оценки качества образования, создания служб оценки учебных достижений, разработки информационных технологий статистической обработки и анализа результатов контроля качества образования на разных образовательных уровнях и ступенях для оперативного управления и самоуправления процессами обучения и развития.
Вопросы и задания
1. Перечислите виды мониторинга в образовании.
2. В чем особенность квалиметрического мониторинга качества обучения?
3. При каких условиях возможна организация многоуровневого мониторинга?
4. Что является основополагающим при организации многоуровневого квалиметрического мониторинга?
5. Какие показатели используются при анализе данных в системе ква–лиметрического мониторинга?
6. На какие критерии можно ориентироваться при квалиметрическом мониторинге качества обучения?
7. Что следует учитывать при аттестации педагогов с учетом результатов тестирования?
Глава 5
МЕТОДЫ АНАЛИЗА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
Статистика – это математическая теория, позволяющая познать мир через опыт.
В. Томпсон5.1. Формирование образовательной статистики
Последний компонент измерений – обработка результатов с целью представления их в форме, удобной для пользователей, и интерпретации согласно задачам педагогического контроля. Этап обработки результатов нередко включает преобразование первичной шкалы, построенной непосредственно по числу выполненных заданий, в другую – для повышения удобства при интерпретации результатов измерения. Всегда, когда ставится задача измерения, то имеется в виду получение истинной величины оцениваемой характеристики, которую можно определить как предел последовательности результатов ее измерения при числе измерений, стремящемся к бесконечности. Нередко истинную величину называют латентным параметром, акцентируя внимание на ее единственности для характеристики данного объекта и инвариантности относительно качества средств и методов измерения. Основываясь на изложенных выше общих сведениях, педагогическое измерение можно определить как процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда. При педагогическом измерении обычно в качестве характеристик обучаемых выступают знания и умения, освоенные учащимися на момент выполнения теста. Роль единицы измерения играют калиброванные тестовые задания, объектом оценивания являются сами обучаемые, а результатом измерения – баллы тестируемых учеников или студентов на единой шкале оценок.
Образовательная статистика формируется как на федеральном, так и на региональном, территориальном и школьном уровнях. Как правило, данные массового тестирования являются репрезентативными и могут обеспечить наиболее достоверную картину качества обучения по различным предметным областям и образовательным системам. Они систематизируются и выдаются в одинаковом формате для объектов наблюдения всех уровней.
Для мониторинга и анализа учебных достижений используются одни и те же показатели:
• общее число участников ЕГЭ по стране, региону, районам, образовательным учреждениям;
• средние тестовые баллы ЕГЭ по регионам и территориям;
• средние тестовые баллы ЕГЭ по пунктам проведения экзамена (ППЭ) в регионе;
• плотность распределения учащихся, набравших соответствующий тестовый балл по России и региону;
• доля учащихся (в %), выполнивших тестовые задания по структуре теста;
• статистические результаты ЕГЭ по пятибалльной шкале по России и региону;
• средние тестовые баллы по предметам ЕГЭ;
• число участников ЕГЭ, не приступавших к выполнению заданий «С» по каждому предмету и каждой территории;
• процент выполнения выпускниками заданий «А», «В» и «С» генеральной выборки и отдельными группами участников;
• количество выпускников, получивших баллы в интервале от 90 до 100.
Очень важными при многоуровневом анализе являются выбор комплекса показателей качества образовательного процесса по уровню подготовленности учащихся и обеспечение объективного и целостного представления о состоянии системы образования и ее составляющих. При этом большое значение имеют используемые методы и способы педагогического анализа результатов и их интерпретации, регулярность и периодичность тестового контроля. Суждения, выводы, доводы и оценки, сделанные в результате мониторинга, должны способствовать совершенствованию объекта.
Мониторинговые исследования по результатам массового тестирования и ЕГЭ могут проводиться по следующим направлениям:
1. Сравнительный анализ средних тестовых баллов выпускников разных регионов по всем предметам со средними показателями по России, средних тестовых баллов по территориям и образовательным учреждениям со средними по России и региону, по оценкам в аттестатах и на ЕГЭ, количеству заявленных медалистов и подтвердивших результаты на ЕГЭ.
2. Содержательный анализ усвоения учебного материала по дисциплинам, включенным в ЕГЭ, по различным уровням обобщения данных и управления образованием (федеральному, региональному, территориальному, школьному).
3. Анализ качества обучения по совокупности учебных дисциплин по видам образовательных учреждений и категориям выпускников.
4. Тематический анализ учебных достижений по процентам выполненных тестовых заданий по различным дисциплинам, территориям, образовательным учреждениям.
5. Определение рейтинга выпускников общеобразовательных учреждений, отдельных территорий, регионов, вузов и специальностей по уровню подготовленности абитуриентов на основе сопоставимости результатов массового тестирования.
6. Динамический анализ качества контрольных измерительных материалов и подготовки выпускников по годам.
7. Интерпретация результатов мониторинговых исследований и выводы о достигнутом качестве подготовленности выпускников и состоянии образовательных систем.
В качестве объектов анализа могут быть выбраны любые массивы участников единого государственного экзамена: учащиеся, классы, школы, районы, города, регионы и все выпускники регионов–участников. Для каждой такой выборки используется соответствующий уровень обобщения статистических данных. Оценка качества подготовленности учащихся в той или иной предметной области средствами педагогического тестирования и мониторинга ориентирована на обеспечение постоянным потоком сопоставимой образовательной информации большого числа пользователей (учащиеся, учителя, родители, работники управления образованием и др.). Однако абсолютные данные в большинстве случаев не дают полного представления о качестве исследуемого объекта, более информативным является сопоставление показателей исследуемой выборки с нормами или объектами более высокого уровня обобщения результатов (парные или множественные сравнения).
