каждый школьный класс имеет свое неповторимое индивидуальное «лицо» – все, кто работал в школе, в каком-либо другом учебном заведении, это хорошо знают. Поэтому для получения действительно достоверных результатов исследования, строго говоря, необходимо привлечение огромных контингентов учащихся и педагогов.
У аспиранта, соискателя есть всего 3-4 года для того, чтобы провести и закончить диссертационное исследование и, как правило, весьма ограниченные возможности привлечения широкой педагогической общественности к опытно-экспериментальной работе по теме своей диссертации. Естественно, все это понимают. Но диссертанту надо быть предельно осторожным в интерпретации полученных результатов. Когда автор диссертации, проведя эксперимент по одному разделу курса физики, допустим, в X классе, утверждает, что за счет этого повысилась эффективность формирования у учащихся научного мировоззрения, или, в другом случае, после изучения всего трех тем специального предмета у учащихся ПТУ было сформировано умение самостоятельно определять стратегические цели своей трудовой деятельности – такие утверждения вызывают, по меньшей мере, недоумение. И уж совсем нелепым выглядит утверждение, которое встретил автор в одной диссертации о том, что после проведения эксперимента уровень общей культуры студентов повысился на 17% (?!).
Самый сложный и острый вопрос для любого педагогического опытно-экспериментального исследования: по каким критериям производится оценка педагогических явлений, процессов? Критерии эффективности важнейшая проблема вообще в любой деятельности. Из-за ошибочного выбора критериев неоднократно происходили крушения целых социальных институтов и экономических систем. Часто приводится такой классический пример неправильного выбора критерия и вызванных этим последствий: в двадцатые годы нашего столетия пожарным, чтобы они вроде бы «меньше спали», была установлена заработная плата, пропорциональная числу потушенных за месяц пожаров. В итоге дело кончилось тем, что пожарные сами стали устраивать поджоги!
Поэтому, приступая к опытно-экспериментальной части своего исследования, диссертант должен самым серьезным образом подойти к подбору критериев оценки эффективности предполагаемых педагогических инноваций. Еще до проведения основного эксперимента, основного этапа опытной работы необходимо точно определить и проверить «работоспособность» критериев оценки эмпирических данных, по предварительным результатам прикинуть, какой контингент обучаемых, сколько классов, групп или школ необходимо будет включить в опытно-экспериментальную работу, чтобы получить статистически достоверные окончательные результаты.
Критерии должны удовлетворять, в частности, следующим признакам:
1.Критерии должны быть объективными (настолько, насколько это возможно в педагогике), позволять оценивать исследуемый признак однозначно, не допускать спорных оценок разными людьми.
2. Критерии должны быть адекватными, валидными, т.е. оценивать именно то, что экспериментатор хочет оценить. Сегодня, в связи с повсеместным распространением и утверждением педагогики развития личности это требование тем более актуально, что мы весьма посредственно умеем оценивать уровень знаний и умений учащихся, но практически совершенно не умеем оценивать уровень развития тех или иных способностей, их личностных качеств, а часто даже и не знаем, какие способности, качества надо оценивать. Особенно остро требование адекватности критериев стоит перед исследователями, занимающимися проблемами воспитания молодежи.
3. Критерии должны быть нейтральными по отношению к исследуемым явлением. Так, если в ходе эксперимента в одних классах, допустим, изучается какая-то новая тема, а в других – нет, то в качестве критерия сравнения нельзя брать знание учащимися материала этой темы.
Совокупность критериев с достаточной полнотой должна охватывать все существенные характеристики исследуемого явления, процесса. Для педагогики это требование особенно актуально, поскольку любая педагогическая, любая учебная деятельность – чрезвычайно сложный многоплановый процесс, который, как правило, нельзя оценить каким-то одним показателем. Для многих педагогических исследований этот момент оставляет желать лучшего. Так, в связи с введением аттестации учителей некоторые специалисты предлагают для учителей математики, физики разработать систему тестов, позволяющих оценивать их умение решать математические и физические задачи – это и будет якобы критерием квалификации учителя. Наверное, это должен быть лишь один из многих критериев, поскольку, помимо профессионально-математической подготовки, подготовки по физике учитель в том числе должен еще владеть и педагогическим, методическим мастерством, что в данном случае остается без внимания [9].
Рассмотрим теперь некоторые типичные ошибки в определении критериев оценки эффективности педагогических инноваций, предлагаемых в кандидатских диссертациях. Характерно, что грамотно и относительно строго построенные критерии в разных работах весьма разнообразны, диссертанты нередко проявляют большую изобретательность в этом деле. В то же время примерно в половине диссертационных работ встречаются практически одни и те же недостатки в выборе критериев оценки.
В частности, вполне очевидно, что оценить уровень сформированности тех или иных знаний, умений, каких-то качеств личности учащихся, студентов, слушателей можно лишь в процессе каких-либо определенных действий, совершаемых этими учащимися, студентами, слушателями, когда они могут активно проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий», как результаты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше – эстрадная или классическая?» (изучалось воспитание эстетического вкуса у студентов) вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» – ответы школьников на вопрос «Понравились ли занятия по основам информатики и вычислительной техники?». Ведь, во-первых, школьники опять же могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться – так же, как горькое, но необходимое лекарство для больного.
Еще один типичный случай – изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками – уровень готовности студентов к этой работе оценивался преподавателями кафедры педагогики по итогам теоретических занятий. Это оценка чисто умозрительная. Диссертант мог бы, наверное, попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школе, которая предполагала бы какие-то их практические действия в этом направлении.
Или же «критерий» – ответ на вопрос, нередко обращаемый к учителям – участникам опытно- экспериментальной работы: «Надо ли применять такие занятия?». Положительный ответ на него позволяет, возможно, судить о готовности тех или иных разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать основным критерием эффективности результатов научного исследования.
Наиболее часто встречаются случаи, когда диссертант в качестве критерия выделяет определенные уровни сформированности каких-то качеств личности учащихся (например, моральной ответственности, эстетической культуры, гуманистических отношений и т.п.), или уровни овладения какой-либо деятельностью (профессионального мастерства, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допустим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явлений, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что выделяя чисто умозрительно, субъективно подобным образом уровни: низкий, средний, высокий, экспериментатор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объективности критерия и достоверности результатов здесь речь идти не может.
Другое дело, если вводятся уровни качественно, принципиально отличные один от другого. Например, для оценки овладения учащимися знаниями нередко используются 4 уровня, предложенные В.П. Беспалько [10]: I уровень – знания – знакомства – узнавание объектов, явлений, процессов, свойств при повторном восприятии ранее усвоенной информации; II уровень – знания-копии – предполагает репродуктивное воспроизведение и применение полученной информации; III уровень предполагает продуктивные действия по применению полученной информации в процессе самостоятельной деятельности; IV уровень – знания -трансформации –
