Надежда Ефремова - Тестовый контроль в образовании
Для всестороннего анализа результатов тестового контроля данные представляются в таблицах, на графиках, гистограммах и диаграммах, наиболее полно отображающих количественные и качественные показатели исследуемых массивов участников контрольно–оценочного процесса.
Таблицы. При статистической обработке данных тестирования результаты представляются в виде дихотомических таблиц, протоколов первичных и тестовых баллов, сводных таблиц по различным массивам испытуемых (табл. 4). За каждое выполненное задание ставится «1», за каждое невыполненное – «0».
Таблица 4
Примечание. Часть «А» – область закрытых заданий теста с выбором одного варианта ответа из числа предложенных; часть «В» – задания со свободным кратким ответом; часть «С» – задания, требующие конструирования развернутого ответа в свободной форме. При необходимости в протоколе могут быть отражены паспортные данные или другие сведения об участниках тестирования.
Дихотомические таблицы дают для каждого испытуемого первичные баллы в числе выполненных заданий теста «А», «В» и «С» без учета уровня их трудности. Внизу таблицы, как правило, приводятся сводные данные о процентах выполнения каждого задания данной выборкой испытуемых.
Сводные таблицы по разным массивам выпускников могут содержать обобщенные данные. Основное назначение таких таблиц – сравнение результатов исследуемой выборки с общероссийскими показателями. Для примера приведены результаты одного из ЕГЭ по математике выпускников нескольких школ сельских районов региона (табл. 5).
Таблица 5
Чтобы оценить качество подготовленности выпускников данного района анализ проводится по распределению первичных баллов по интервалам и разделам теста в сравнении с аналогичными данными по России с указанием стандартного отклонения и вариации (табл. 6).
Таблица 6
В табл. 7 приведена корреляция результатов ЕГЭ по всем предметам по заданиям различного типа для всех выпускников России. Коэффициенты корреляции рассчитаны между результатами выполнения разных видов заданий, значениями первичных баллов по видам заданий и суммарными первичными и тестовыми баллами, в конечном счете они задают статистические характеристики использованного теста. Совокупность этих показателей может быть использована педагогами в качестве статистической нормы при анализе результатов конкретной исследуемой выборки.
Таблица 7
Такие таблицы очень информативны, они содержат сведения об учебной дисциплине, количестве заданий в тесте и их распределении по видам заданий, регионе, образовательном учреждении, классе, выполняемом варианте теста, дают первичный и тестовый баллы. Они позволяют перейти к процентам выполнения соответствующих заданий по любой выборке и проводить анализ усвоения содержания различных предметов.
Аналогичные по формату таблицы могут быть для аудиторий, классов, школ, районов и отдельных городов региона. Информация, собранная в них, с достаточно высокой информативностью отображает результаты ЕГЭ по всем массивам выпускников. Однако работать с таблицами бывает сложно из–за их объемности и распределения нужной информации в разных таблицах, для сопоставительного анализа они не всегда пригодны, так как не обладают свойством наглядности. Поэтому для визуализации данных, проведения сравнений и оперативного анализа чаще используются графические методы.
5.2. Способы анализа и интерпретации результатов тестирования
Необходимость разработки методов интерпретации вызвана стремлением выявить истинные различия в уровне знаний испытуемых, сравнить результаты между собой. Это стремление продиктовано достаточно серьезной причиной, связанной с тем, что «сырые» или тестовые баллы не дают информации о реальном уровне знаний. Интерпретация результата и его отнесение к категории плохих или хороших зависят от целого ряда факторов. Прежде всего, от того, как распределились результаты остальных испытуемых, от трудности и от количества заданий в тесте. Методы многофакторного анализа результатов тестирования являются средством объективной экспертизы содержательных компонентов качества образования и личностного развития: знаний, умений, навыков, творческого опыта учебной деятельности, ценностно–смыслового отношения к обучению, ключевых компетенций и др.
Адекватность интерпретации достигается путем сопоставления результатов анализируемой выборки или отдельного испытуемого с определенными нормами выполнения теста – множеством показателей, устанавливаемых эмпирически в процессе стандартизации теста. Соотнесение результата испытуемого с нормами выполнения позволяет установить, соответствует ли данный результат среднему или на сколько он выше или ниже среднего результата выполнения теста.
Наиболее удобным и показательным для представления статистических данных является метод графического анализа. Парные и множественные сравнения объектов наблюдения одного и того же или разных уровней проводятся по средним первичным или тестовым баллам, по медианным значениям или процентам выполнения заданий. Между собой могут сравниваться статистические данные нескольких объектов: классы в школе, школы в районе, районы в регионе и т. д. Ниже рассматриваются методы анализа информации с помощью гистограмм, графиков, прямоугольных и радиальных диаграмм успешности выполнения тестовых заданий.
Гистограммы. Для изображения распределения данных в широком диапазоне значений исследуемых характеристик анализируемых объектов широко используются гистограммы. Они обеспечивают наглядность распределения первичных и тестовых баллов на 100–балльной или 5–балльной шкале, позволяют сравнивать учебные достижения по различным массивам испытуемых.
В гистограммах каждый столбик соответствует числу, проценту или доле участников, набравших соответствующий балл или балл в заданном диапазоне (диапазон баллов может быть по пяти, десяти или другому числу величины интервала). На гистограмме могут быть наглядно представлены максимальные и минимальные значения баллов исследуемой выборки; наибольшая высота столбиков показывает часто встречающиеся результаты, площади отдельных участков гистограммы дают представление о числе или доле участников, получивших отметки в том или ином диапазоне баллов. Это может быть распределение первичных баллов за весь тест (рис. 18) или за часть теста (рис. 19), тестовых баллов по любой выборке (рис. 20).
Иногда столбики гистограмм выделяют цветом или узором, обозначая различные уровни подготовленности испытуемых. В зависимости от целей анализа может быть выбран разный шаг баллов при построении гистограмм. На гистограмме по площади столбиков можно визуально оценить долю тестируемых, получивших как минимальные баллы (неаттестованных) – низкий уровень, так и максимальные – высокий уровень, а также долю учащихся со средним уровнем и вблизи него.
При помощи гистограмм можно проводить парные или множественные сравнения исследуемых характеристик для различных выборок испытуемых. Парные сравнения позволяют, например, учебные достижения исследуемой выборки сравнивать с данными генеральной (рис. 21) или отметки одной и той же выборки участников ЕГЭ по различным предметным областям или видам контроля (рис. 22).
Рис. 18. Распределение первичных баллов ЕГЭ по русскому языку, Россия
Рис. 19. Русский язык, первичные баллы за задания «С»
Рис. 20. Распределение тестовых баллов ЕГЭ по математике
Рис. 21. Распределение участников ЕГЭ по интервалам баллов
Рис. 22. Сравнение отметок по предметам
Как правило, гистограммы сопровождаются таблицами результатов, в которых могут быть указаны предметы и число участников экзамена; проценты участников, набравших соответствующий балл; можно сравнивать школьные отметки и результаты ЕГЭ по пятибалльной шкале и другие показатели.
По математике все выпускники экспериментальных регионов распределились так: низкий уровень (0—29 баллов) – 11,8%; ниже среднего (30—50 баллов) – 42,9%; средний уровень (51– 70 баллов) – 36,6% и высокий уровень (70—100 баллов) – 8,7%. По русскому языку – соответственно 2,2%; 36,2; 53,0; 8,5%.
На гистограммах множественные сравнения позволяют сопоставлять по выделенному свойству несколько выборок между собой по годам, категориям, типам образовательных учреждений и другим данным (рис. 23).
Достаточно наглядно можно представлять на гистограмме (рис. 24) динамику изменений отметок по разным предметам по годам, территориям или образовательным учреждениям.
