Надежда Ефремова - Тестовый контроль в образовании
4.3. Система уровней и виды квалиметрического мониторинга
Поскольку сам образовательный процесс является многомерным и многофакторным, то и мониторинг должен быть сложной системой, во всей полноте отображающей особенности обучения и структуру образовательной системы. Такой мониторинг должен обладать системным свойством, а поэтому для его организации требуется системный подход, основанный на упорядочении множества элементов, взаимосвязанных между собой; система образовательного квалиметрического мониторинга должна включать в себя ряд подсистем, существование которых обусловлено в первую очередь наличием различных уровней обобщения данных для разных объектов наблюдения.
Система многоуровневого квалиметрического мониторинга рассматривается в этом аспекте как совокупность организационной структуры, методик, технологических процессов и ресурсов, необходимых для его осуществления и являющихся инструментом для накопления рандомизированных данных. Предполагается, что квалиметрический подход, базирующийся на концептуальных положениях теории измерений IRT и математической статистики, может обеспечить строгость, четкость и упорядоченность данных об уровне подготовленности учащихся и качестве образовательных систем, а также осуществлять прогнозирование их развития.
Система мониторинга – это совокупность его элементов, взаимосвязанных между собой, обеспечивающих осуществление всех мониторинговых процедур для достижения поставленных задач и целей. Как и всякая сложная система, квалиметрический многоуровневый мониторинг состоит из нескольких подсистем и их элементов для получения количественных показателей качества исследуемых объектов. К таким элементам можно отнести: предмет, объекты и субъекты мониторинга, комплекс мониторинговых показателей, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, программно–инструментальные средства их анализа и интерпретации, осуществление прогнозов дальнейшего развития объекта. Следовательно, она должна обладать обратными связями, посредством которых обеспечивается управление ее подсистемами, обусловливая как стабильность, так и развитие. Вместе с тем система такого мониторинга не является замкнутой, так как другие, связанные с ней системы (система образования, система тестирования, система воспитания, система управления, общественные системы и др.) способны оказывать на нее воздействие, а она, в свою очередь, влиять на них.
Предметом мониторинговых исследований выступают состояния подготовленности обучающихся, образовательного процесса, образовательных систем, их изменения и направления развития.
Объектами мониторинговых наблюдений могут выступать отдельные обучающиеся, группа (группы) учащихся, педагоги, образовательные учреждения, педагогические системы, территориальные, региональные или федеральные образовательные системы, образовательный процесс.
Субъектами являются проводящие обследование организаторы, независимые аттестационные службы, комиссии, центры тестирования и т.д.
Инструментарием таких исследований могут быть анкеты, тесты, опросные листы, статистические отчеты, различного рода формы, таблицы, графики и др. Инструментами мониторинговой деятельности являются технические, электронно–вычислительные и информационные средства, программно–инструментальные продукты, средства коммуникации и т.д.
Мониторинговая деятельность может рассматриваться как совокупность процедур, используемых для наблюдения за объектом и предметом мониторинга, сбор информации, ее накопление и обработка: квалиметрические процедуры (контрольно–оценочные, таксонометрические, социологические и др.), экспертное оценивание, анализ статистических данных, контент–анализ документов, заключения комиссий, решения и действия официальных структур управления образованием.
Мониторинговые показатели могут подразделяться на первичные результаты обследований – непреобразованные, и вторичные, – обработанные определенным образом. По сравнению с традиционным контролем при тестовом контроле расширяется спектр показателей, комплекс которых способен обеспечить целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. К числу таких показателей в условиях массового тестирования относятся первичный тестовый балл испытуемого (число или процент выполненных заданий теста); сертификационный тестовый балл, полученный в результате шкалирования с учетом статистического уровня трудности тестовых заданий; статистические нормы, средний тестовый балл исследуемой выборки; средний тестовый балл генеральной выборки испытуемых; дихотомические таблицы и проценты правильно выполненных заданий теста для разных категорий и групп испытуемых; индивидуальный рейтинг участника тестирования; рейтинг образовательного учреждения; территории, региона и др.
Критерии оценивания состояния объекта исследования зависят от задач и целей мониторинга. К таковым можно отнести соответствие тестового балла норме или заданному уровню; достижение требований образовательных стандартов; соответствие запросам и ожиданиям потребителей. Суждения, выводы, доводы и оценки, сделанные в результате анализа результатов тестового контроля, должны способствовать совершенствованию объекта.
Суть такого системно–методологического подхода в этом случае заключается в формировании совокупности методов и процедур мониторингового исследования, вооружении его действенными методами сбора, синтеза, анализа и предъявления результатов независимого контроля учебных достижений субъектов образовательного процесса. Система квалиметрического мониторинга качества учебных достижений является многоуровневой, многофакторной, целенаправленной, динамической, саморазвивающейся, способной сохранять свою сущность, несмотря на изменения, происходящие в ней, а ее особенности связаны с междисциплинарным характером обучения, который обусловливает ее проектирование и функционирование, требует системности (полисистемности) методологических оснований контрольно–оценочной деятельности.
В соответствии с решением задач наблюдения виды квали–метрического мониторинга могут быть классифицированы как:
• информационный – направлен на сбор, накопление, систематизацию и распространение образовательной информации. Кроме того, информационные технологии в последнее время обеспечивают не только повышение эффективности при достижении педагогических целей, но и позволяют расширить круг пользователей образовательной информацией, обеспечивают оперативность и многоаспектность педагогического анализа [58, 68, 132];
• базовый (фоновый) – направлен на выявление соответствия уровня подготовленности обучающихся требованиям образовательных стандартов и качества образовательных систем для обеспечения условий обучения и развития личности;
• проблемный – предполагает выявление новых проблем в той или иной образовательной системе, по тем или иным направлениям деятельности системы образования; ориентирует на выявление закономерностей и процессов, важных в управлении качеством образования;
• управленческий – ставит целью наблюдение за характером взаимодействия на различных управленческих уровнях, обеспечивает оценку эффективности последствий и вторичных эффектов решений, принимаемых в области управления;
• дидактический – обеспечивает наблюдение за различными сторонами учебного процесса, в том числе и за усвоением материала учебных дисциплин, соответствием полученных знаний требуемому уровню или образовательному стандарту;
• социально–психологический – предоставляет информацию о психологическом состоянии личности, взаимоотношениях обучающихся в классах и группах, взаимодействии обучающихся и обучающих, общем характере психологической среды в образовательном учреждении.
Для эффективного управления качеством образования с целью получения положительных изменений необходимо постоянное научно обоснованное воздействие на всех его субъектов с позиций современных требований и возможностей анализа количественно измеренной комплексной информации об уровне учебных достижений обучающихся. Вместе с тем такое наблюдение должно быть организовано на различных уровнях и стадиях обучения.
Для этого должен быть создан комплексного квалиметрический мониторинг качества образовательного процесса и образовательных систем в масштабах страны, региона и далее по уровням управления образованием. Именно сравнения (парные и множественные, по вертикали и горизонтали) степени усвоения содержания учебных дисциплин (например, процентов правильных ответов по структуре теста) дают возможность видеть проблемы обучения и определять направления совершенствования образовательных программ, методик и технологий.
