Определение критериев оценки инновационной деятельности
Администрация
учреждения образования и педагоги
зачастую затрудняются при отслеживании хода и оценке её успешности. Часто
собирается явно не та или недостаточная информация. А в некоторых случаях
педагоги накапливают такое количество разнообразных сведений, что буквально
тонут в них, будучи не в состоянии не только их использовать, но и просто
осмыслить. Нередко к тому же оказывается, что из-за неравнозначности,
несопоставимости или фрагментарности полученных данных невозможно проследить
динамику наблюдаемых педагогических явлений и зафиксировать зарождающиеся
тенденции. Приступая к организации
мониторинга, прежде всего следует
определить критерии оценки успешности нововведения, а для этого необходимо
разобраться в сущности нововведения и в той цели, ради которой оно вводится.
Именно в цели инновационной деятельности
отражаются представления о конечных её результатах. В них – отправной
момент для поиска критериев оценки. В зависимости от масштаба и содержания
инновационной работы её успешность может быть оценена не по одному, а по целому
комплексу критериев. Результаты
системного нововведения, включающего и педагогический, и психологический, и
социальный аспекты, оцениваются, как
правило, с помощью образовательного, воспитательного, развивающего,
социально-психологического и валеологического критериев. Кроме критериев,
т.е. признаков, на основе которых осуществляется оценка, в
критериально-оценочный комплекс включается достаточно широкий спектр
показателей, адекватно и ёмко отражающих важнейшие грани (стороны) каждого
критерия, а при необходимости – и индикаторов, конкретизирующих проявление
характерных особенностей наиболее сложных показателей. В выборе показателей, в
отличие от выбора критериев, не последнюю роль играет субъективный фактор, в
частности теоретические позиции и предпочтения инноваторов, их принадлежность к
какой-либо научной школе. Так, одни оценивают обученность учащихся по В.П.
Симонову (распознавание, запоминание, понимание, применение, перенос), другие
по Т.И. Шамовой (уровень усвоения знаний, системность знаний, действенность
знаний, сформированность интеллектуальных, информационных и коммуникативных
умений и умений самоорганизации), третьи – по В.А. Караковскому (прочность,
глубина и разнообразие знаний) и т.д. Поэтому при выборе показателей каждого
критерия важно соблюдать требования их необходимости (важности для вводимого
новшества) и достаточности, пропорциональности их удельного веса, чтобы не
допустить перекоса в сторону какого-нибудь критерия, их способности к
всестороннему охвату оцениваемого явления и обеспечению его целостности.
Успешность нововведений должна быть связана не только с позитивными изменениями
в обученности, воспитанности и развитости учащихся. Об эффективности
инновационной деятельности можно судить и по изменениям в самом педагогическом
коллективе; оздоровление психологической атмосферы, рост профессионализма
педагогов, смена их теоретических и методических приоритетов, демократизация
отношений, состояние здоровья педагогов.
Выбор диагностических данных
Не менее важно выбрать валидные (пригодные), адекватные
оцениваемым признакам методы их выявления. Современный
диагностический арсенал психолого-педагогического мониторинга достаточно
разнообразен: наблюдение, беседа, оценка, самооценка, обобщение независимых
характеристик, изучение продуктов деятельности учащихся, анкетирование. При
выборе методик надо исходить из замысла инновационных преобразований, критериев
оценки результатов нововведений и их показателей, количества и возраста
исследуемых, мониторингового опыта инноваторов, степени владения ими диагностическим
аппаратом, знания возможностей и ограничений каждого метода. Следует
руководствоваться при этом и определёнными требованиями. Методы должны
обеспечивать достаточность информации, её объективность, достоверность и
надёжность, однозначность трактовки полученных результатов, их сравнимость с
результатами, добытыми иными способами, и быть по возможности минимально
трудоёмкими. Кроме того, они должны быть удобными в сборе и последующей
обработке данных и позволять отслеживать изучаемые признаки в динамике.
Одновременно с выбором методов продумывают, как и какими способами будут
измерены выявляемые признаки успешности нововведений. Для более удобной
обработки, систематизации и последующего описания эмпирических данных часто
используют вычисления суммарного балла, процентного содержания, позиции в
ранжире. Выбираются шкалы измерения признаков и уровни их проявлений. Если это
не было сделано ранее, то как раз по завершении разработки критериально-оценочного
инструментария следует определить персональный состав тех, кто будет собирать,
обрабатывать, анализировать и интерпретировать информацию. Если в учреждении образования опытно-экспериментальную работу ведет
большая часть коллектива, то рациональнее создать мониторинговую службу –
педагогическую, психолого-педагогическую или социологическую. Если
инновационной деятельностью занимаются отдельные педагоги, то отслеживать
результаты своих нововведений они должны сами. Но в том и другом случае
администрация учреждения образования в лице руководителя и его заместителей
должна взять на себя организацию мониторинга: распределить обязанности,
согласовать позиции, выработать единые подходы к сбору и отбору фактов,
определить объём и характер выборок, обсудить условия мониторинга, провести
необходимую учёбу и инструктаж, помочь инноваторам-одиночкам овладеть всеми
мониторинговыми процедурами, начиная с определения критериев оценки результатов
инновационной деятельности и заканчивая интерпретацией полученной информации,
формулированием выводов и при необходимости – коррекцией своих действий или
концептуальных установок. Сбор и обработка информации Диагностический этап
мониторинга начинается с опробования оценочных и измерительных средств. Его
результаты позволяют убедиться в адекватности и надёжности выбранной совокупности
методов или внести в неё соответствующие поправки. Если потребность в коррекции
диагностического комплекса не возникает, то полученная информация по критериям
эффективности нововведения, предваряющая саму инновационную работу, может стать
характеристикой исходного состояния изучаемого объекта и, следовательно,
основой для сравнения с ней результатов последующих мониторинговых измерений.
Частота мониторинговых замеров зависит от содержания нововведений, но, как
правило, не превышает двух раз в год – текущего и рубежного. Более частые срезы
могут быть недиагностичными. Если информация собирается не вся сразу, а по
частям, то число замеров в год соответственно возрастает. Длительность мониторинга определяется продолжительностью инновационной
деятельности, хотя полезно проводить мониторинговые замеры и после её
завершения для того, чтобы отследить пролонгированные результаты нововведений.
Собранная на диагностическом этапе информация проходит первичную обработку и
систематизируется, т.е. приводится в определённый порядок. Она представляется в
виде таблиц, графиков, профилей (гистограмм и диаграмм), «таблетных» форм и
(или) различных классификаций, выполненных на основе чётких оснований –
сходства, различия, величины, силы выраженности каких-либо свойств и признаков
и т.п. Упорядоченная подобным образом информация удобна для последующих
сопоставления, сравнения, анализа и обобщения, установления
причинно-следственных отношений, устойчивых связей и эмпирических зависимостей.
Она намного облегчает наиболее сложную и ответственную мониторинговую процедуру
– интерпретацию, т.е. объяснение вскрытых фактов, истолкование их смыслов
назначений.
Интерпретация данных и прогноз дальнейшего развития инновационных процессов
Интерпретация
мониторинговой информации – это своего рода диагноз реального состояния дел,
сложившегося в учреждении образования на изучаемый момент вследствие
нововведения. Она осуществляется для оценки степени его влияния на
образовательный процесс, прогноза дальнейшего развития, формулирования выводов
об эффективности введения нового, разработки стратегии и тактики последующей
инновационной деятельности. Интерпретация предполагает глубокое осмысление и
разносторонний анализ хода и результатов инновационной работы, вскрытие причин
их неполного соответствия первоначальному замыслу и возникших ошибок, мысленной
оценки возможного эффекта последующих нововведений, а при необходимости –
активного вмешательства в проектирование и ход инновационного процесса, не
дожидаясь, когда он окажется малоэффективным и приведёт к нежелательным
последствиям. Концептуальные установки, ожидаемые результаты и те научные
теорий и отдельные теоретические положения, которые были отобраны инноваторами
в качестве исходных посылок, задают направление и содержание интерпретации добытых
в мониторинге фактов. Однако формулируемые оценки должны быть свободны от
субъективизма, предвзятости и «подгона» фактов под теории или, наоборот, теорий
– под факты. Чтобы избежать этого, особое внимание следует обратить на
совпадение/несовпадение ожидаемых и реально достигнутых результатов, проследить
их динамику. Заметим, что «динамическими» данными считаются те, которые
содержат более двух измерений, т.е. помимо начального и конечного ещё и
промежуточные. Поэтому говорить, например, о положительной динамике результатов
нововведения на основе только двух измерений – исходного и достигнутого –
некорректно: необходим хотя бы ещё один промежуточный срез, проведённый с
использованием аналогичных измерительных средств. Для формулирования итоговых
выводов полезно не только проанализировать и объяснить, но и соотнести
полученные мониторинговые данные с результатами педагогов, работающих
традиционно, и ответить на вопросы: как подействовали нововведения на обучение,
воспитание и развитие обучающихся, что они изменили в управлении учреждением
образования, какие факторы благоприятствовали, а какие препятствовали
использованию новшеств, при каких условиях эффективность нововведений
возрастала, какую пользу можно извлечь из полученных результатов, в том числе
отрицательных, что из наработанного в инновационном режиме следует
распространить, где и как это сделать и т.д. Тщательный анализ фактологической информации об инновационном
преобразовании образовательной практики, выявление проблемного поля и наиболее
острых, подлежащих разрешению проблем, зарождающихся и устойчиво проявляющихся
тенденций позволят сформулировать прогноз ближайших и более отдалённых
перспектив инновационной деятельности.
Таким
образом, всесторонний анализ и адекватная оценка мониторинговых результатов
введения педагогических новшеств, прогноз перспектив развития в этой связи
образовательной практики дают основание для принятия обоснованных решений о
продолжении инновационной деятельности, корректировке её отдельных сторон и
внесении необходимых изменений. На их основе делается и выбор приоритетных
направлений последующей инновационной работы, создаются перспективные и текущие
планы, содержащие организационные, методические, технологические,
корректирующие, стимулирующие и даже психотерапевтические меры.
По
материалам статьи Строковой,Т. Мониторинг педагогических нововведений //
Педагогическая диагностика. – 2008. – №3. – С. 44 – 56
