А. Новиков - Как работать над диссертацией
Еще один типичный случай – изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками – уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Это оценка чисто умозрительная. Диссертант мог бы, наверное, попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школе, которая предполагала бы какие-то их практические действия в этом направлении.
Или же «критерий» – ответ на вопрос, нередко обращаемый к учителям – участникам опытно-экспериментальной работы: «Надо ли применять такие занятия?». Положительный ответ на него позволяет, возможно, судить о готовности тех или иных разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным критерием эффективности результатов научного исследования.
Наиболее часто встречаются случаи, когда диссертант в качестве критерия выделяет определенные уровни сформированности каких-то качеств личности учащихся (например, моральной ответственности, эстетической культуры, гуманистических отношений и т.п.), или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объективности критерия и достоверности результатов здесь речь идти не может.
Другое дело, если вводятся уровни качественно, принципиально отличные один от другого. Например, для оценки овладения учащимися знаниями нередко используются 4 уровня, предложенные В.П. Беспалько [10]: I уровень – знания – знакомства – узнавание объектов, явлений, процессов, свойств при повторном восприятии ранее усвоенной информации; II уровень – знания-копии – предполагает репродуктивное воспроизведение и применение полученной информации; III уровень предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; IV уровень – знания -трансформации – предполагает возможность творческого применения полученной информации посредством самостоятельного конструирования собственной деятельности.
При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню. Или же, скажем, в диссертации Д.В. Татьянченко выделяются уровни управления уроком: стихийный, эмпирический, научный с четким обоснованием их качественных отличий. Тогда каждый урок того или иного учителя также относительно объективно может быть однозначно отнесен к определенному уровню. То же в диссертации Л.В. Коняхиной – выделены уровни восприятия и оценки художественных произведений писателей учащимися: констатации, комментария, рассуждения, обобщения (о качественных отличиях этих уровней можно судить по их названиям). Кроме того, как видим, во всех этих случаях оценка осуществляется не умозрительно, а по выполнению испытуемыми каких-то конкретных действий, а сами уровни логически выстраиваются по какому-то единому основанию классификации (см. ниже).
Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, дополняют друг друга. Исследователь, как правило, не ограничивается только качественными критериями и стремится использовать в целях объективности получаемых результатов какие-то количественные критерии оценки, используя тем самым определенные величины.
О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим образом: величина есть мера некоторого множества, относительно элементов которого имеют смысл утверждения – больше, меньше или равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что ученик Иванов равен ученице Петровой (не путать с равноправием!) смысла не имеет, так как каждый человек – неповторимая личность. Но, например, утверждение, что рост, вес ученика Иванова больше (меньше, равен) роста, веса ученицы Петровой, имеет уже вполне определенный смысл; рост и вес здесь выступают величинами.
Величина задается той или иной шкалой измерений, оценки. Шкала измерения – то числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного числового ряда.
Шкалы измерений делятся на 4 основных класса [11]:
– шкала отношений – самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравнение: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины – время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания, количество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о том, что ученик Иванов правильно решил, к примеру, в два раза больше задач, чем ученик Петров, но утверждение, что знания ученика Иванова в два раза больше знаний ученика Петрова, будет неправомерным.
В отдельных случаях, в том числе в исследованиях по трудовому и профессиональному обучению, применяются оценки и в мерах физических величин – величина допускаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), величина электрической активности мышц в милливольтах и т.п. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами;
– шкала интервалов – довольно редко применяющаяся и менее мощная. Примером ее является шкала температур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим образом: за ноль была принята точка замерзания воды, за 100 градусов точка ее кипения, и, соответственно, интервал температур между замерзанием и кипением воды поделен на 100 равных частей – градусов. Здесь уже утверждение, что температура в 30оС в три раза больше, чем 10оС, будет неверным. Справедливо говорить лишь об интервалах температур – температура в 30оС на 20оС больше, чем температура в 10оС. В педагогических исследованиях, в частности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два значения: да – нет, лучше – хуже, мальчик – девочка и т.д. В такой шкале имеется только один интервал деления (0-1 или 1-2, плюс-минус и т.д.), поэтому ее можно рассматривать как предельный случай интервальной равномерной шкалы, просто «равномерность» не с чем сравнивать;
– шкала порядка или шкала рангов – самая слабая шкала – шкала, относительно значений которой уже нельзя говорить ни о том, во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Например, так построена шкала твердости минералов Мооса: взят набор 10 эталонных минералов для определения относительной твердости методом царапания. За 1 принят тальк, за 2 – гипс, за 3 – кальцит и так далее до 10 – алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый минерал, допустим, царапает кварц (7), но не царапает топаз (8) – соответственно его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, психологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, поскольку оценка знаний, умений в баллах обладает определенной субъективностью.
Если в шкале Мооса тому или иному минералу может быть однозначно приписано строго определенное значение твердости, то оценка знаний одного и того же учащегося у разных учителей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных школах, в разных регионах – в зависимости от уровня предъявляемых требований и, соответственно, возможностей учителей школы, контингента учащихся и т.п. В школах некоторых стран применяется и другая оценка успеваемости учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе (выпуске). Это тоже шкала порядка;
