Дисперсионный анализ в психолого- педагогическом исследовании: проблема интерпретацииАннотация. В статье рассматриваются возможности использования дис- персионного анализа в психолого-педагогическом исследовании, описываются различные подходы к интерпретации полученных результатов с учетом условия эксперимента. Ключевые слова: дисперсионный анализ, условия эксперимента, исследо- вание, интерпретация. Abstract. The paper considers application of dispersion analysis in psychological and pedagogical research and describes various approaches to interpretation of the re- search data, taking into account the experimental conditions. Index terms: dispersion analysis, experimental conditions, research, interpretation. В современных психолого-педагогических исследованиях повышается роль математического аппарата, которая рассматривается в аспекте сис- темного синтеза гуманитарного (содержательного) и формально-логического подходов [2, 4, 5]. Особое место среди математических методов занимает дисперсионный анализ, предусматривающий оценку влияния качественных признаков на количественные переменные. С помощью дисперсионного анализа изучают изменчивость признака (например, успешность обучения) под влиянием каких-либо контролируемых факторов (различных методик обучения, стимулов, форм организации учебного процесса и т. д.). Наиболее интересен вариант многофакторного дисперсионного анализа, позволяющий не только учитывать влияние отдельных факторов на зависимую перемен- ную, но и оценивать эффект их взаимодействия. Алгоритм реализации дисперсионного анализа, предполагающий проверку гипотез о значимости влияния конкретных факторов на иссле- дуемый признак, достаточно полно описан в специальной литературе. Формальное фиксирование его результата в виде принятия или отверже- ния нулевой гипотезы не вызывает затруднений. Часто нулевая гипотеза формулируется в следующем виде: различия в уровне результативного признака между градациями фактора (разными ус- ловиями) являются не более выраженными, чем случайные различия внутри
каждой группы. Считается также, что основной целью дисперсионного анали- за является исследование значимости различия между средними. При этом иногда ошибочно полагают, что ее можно решить с помощью t-критерия Стьюдента путем многократных парных сравнений однородных и неоднород- ных групп. Однако в данном случае трудно обнаружить ошибку выполненной процедуры или составного критерия при заданном уровне значимости t-критерия. Дело в том, что, сравнивая много групп, эффект можно обнару- жить случайно. Причем высока вероятность того, что это арт-эффект. Подобные сравнения предусмотрены однофакторным дисперсион- ным анализом. Проверяемая с его помощью нулевая гипотеза (Н0): сред- ние значения признака во всех градациях фактора равны; альтернатив- ная гипотеза (Н1): по крайней мере одно среднее отличается от других. Далее нужно понять, какие средние отличаются от других, т. е. опреде- лить характер влияния фактора. Для этого используют процедуры парно- го сравнения средних значений. В основе дисперсионного анализа лежит предположение о том, что од- ни переменные могут рассматриваться как причины (факторы, независи- мые переменные), а другие как следствия (зависимые переменные). Незави- симые переменные называют иногда регулируемыми факторами именно по- тому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат. Если фактор рассматривает- ся не в условиях эксперимента, то возникает проблема обоснования причин- но-следственных отношений. Такое обоснование, очевидно, проводится на базе используемой исследователем теоретической концепции. За ее рамками интерпретация причинно-следственных связей может оказаться несостоя- тельной. Поэтому применение дисперсионного анализа, кроме выполнения определенных математических допущений, предполагает предварительную формализацию объекта исследования и описание границ применимости по- лученных результатов. После ее проведения дисперсионный анализ необхо- димо осуществлять в следующей последовательности (с учетом ограничений): ● проверка нормальности распределения результативного признака для наблюдений, соответствующих каждому уровню (градации) фактора; ● проверка однородности дисперсий (в случае неравных выборок); ● вычисление критерия Фишера для проверки нулевой гипотезы; ● выполнение множественного парного сравнения средних, если ну- левая гипотеза отвергается (принимается альтернативная); ● содержательная интерпретация результатов сравнения средних. Последний этап вызывает наибольшие трудности, поскольку пред- полагает серьезный теоретический и методологический анализ проблемы и понимание смысла промежуточных, а главное – итоговых результатов. Это объясняется следующими причинами: 1) несоответствие реальности факторов и результативного признака; 2) противоречивость содержательного смысла различий средних; 3) отсутствие научной ценности (тривиальность) результата.
Рассмотрим возможные варианты результатов, полученных при обра- ботке данных с помощью однофакторного дисперсионного анализа, и спосо- бы их интерпретации. Следует заметить, что интерпретация неэксперимен- тальных данных может оказаться неоднозначной и недостаточно аргументи- рованной. Поэтому данный вариант дисперсионного анализа целесообразно использовать как предварительный, предполагающий затем либо дальней- шую проверку устойчивости полученного результата, либо проведение экс- перимента. Соотнесение результата и условий эксперимента может служить научной основой для адекватных и конструктивных интерпретаций, исклю- чающих альтернативные толкования. Договоримся под условиями экспери- мента понимать структуру целенаправленных воздействий на выборочную совокупность. Тогда условие эксперимента будет простым при однократном и сложным при многократном (хотя бы двукратном) воздействии. Предположим, влияние фактора не установлено (принята нулевая гипотеза). Возможные причины: малая выборка; фактор не является су- щественным; фактор проявляет себя только при взаимодействии с другим фактором. Пусть влияние фактора установлено. В процессе интерпретации ре- зультатов будем учитывать условия эксперимента. Возможны следующие случаи. I. Экспериментальное условие простое: 1. Содержательная интерпретация адекватна. Тогда следует оценка научной и теоретической значимости и практической ценности получен- ного результата с позиции выбранной концепции исследования. 2. Содержательная интерпретация неадекватна. Целесообразно проведение многофакторного дисперсионного анализа, если позволяет экспериментальный план. В противном случае исследование считается незавершенным. Если разбиение на группы не соответствует модели мно- гофакторного эксперимента, то необходимо его дополнить (или выбрать вариант дисперсионного анализа с неполным планом). 3. Содержательная интерпретация неясна. Скорее всего, недоработана концепция исследования и соответствующая ей методика эксперимента. II. Экспериментальное условие составное: 1. Содержательная интерпретация учитывает структуру данного ус- ловия. Например, осуществляются два воздействия на выборку. Причем, согласно концепции исследования, первое воздействие является фоно- вым, поскольку по отношению к нему рассматриваются результаты вто- рого воздействия. Поэтому целесообразно различать контрольную группу (отличающуюся от экспериментальных предварительным условием, т. е. характером первоначального воздействия), экспериментальную группу 1 (условие однородное – первое и второе воздействия одинаковы), экспери- ментальную группу 2 (условие неоднородное – первое и второе воздейст- вия неодинаковы). Тогда результат эксперимента положительный, если среднее значение в обеих экспериментальных группах отличается от
среднего в контрольной группе, а между двумя экспериментальными группами достоверных отличий в аналогичных показателях не обнаруже- но. Данный результат отражает смысл исследуемого феномена, так как различия результатов второго воздействия соотнесены с характером пер- вого воздействия. Для планирования подобной структуры эксперимента должна быть предварительная гипотеза о характере проявления фактора. Исследование можно считать завершенным. 2. Содержательная интерпретация адекватна, но не учитывает со- ставное условие. Значит, концепция исследования, а соответственно, и методика эксперимента требуют корректировки. Исследование не явля- ется завершенным. 3. Содержательная интерпретация неадекватна. Целесообразно проведение многофакторного дисперсионного анализа, возможно, после корректировки концепции исследования, поскольку условие не обяза- тельно должно быть составным. Дисперсионный анализ может не иметь целью подтверждение ка- кой-то научной гипотезы, а значит, его результат может не обладать на- учной ценностью. Тогда естественность полученных интерпретаций мо- жет сделать их полезными непосредственно для практики. Очевидно, что наиболее интересен второй случай. Приведем пример. С. А. Шапкиным проводилось исследование феномена «выученной беспо- мощности», т. е. снижение у человека способности к решению задач, если перед этим он подвергался переживанию неуспеха в сходных ситуациях. Эксперимент заключался в следующем. Трем группам испытуемых предла- гались анаграммы. Первая группа в предварительной серии проб пыталась решать неразрешимые анаграммы, а в тестовой серии этой группе также предъявлялись анаграммы, но уже разрешимые. Второй группе испытуе- мых в предварительной серии предлагались неразрешимые анаграммы, но в тестовую серию были включены другие (разрешимые) задачи – на уста- новление закономерностей. Третья группа испытуемых (контрольная) в предварительной серии не подвергалась переживанию неуспеха – им предъявлялись разрешимые анаграммы, а в тестовой серии они решали оба типа задач (анаграммы и задачи на установление закономерностей) [1]. В данном примере фактор – «условие решения задач в тестовой серии, задаваемое в предварительной серии»; зависимая переменная – «время ре- шения экспериментальной задачи». Проверяемая гипотеза (Н0): различия во времени решения экспериментальной задачи между группами являются не более выраженными, чем случайные различия внутри каждой группы. Однородность дисперсии можно не проверять в силу одинакового коли- чества наблюдений в каждой градации. Результаты дисперсионного анализа (полученные с помощью программы «Статистика») представлены в табл. 1. Поскольку Fэмп > Fкр, отвергаем Н0, принимаем Н1 (p < 0,01), т. е. фактор «условие решения задачи» влияет на зависимую переменную «время решения задачи».
Результаты дисперсионного анализа Таблица 1
Проведем множественные парные сравнения средних значений для определения характера этого влияния с помощью множественного t-критерия Стьюдента (табл. 2).
Результаты парного сравнения средних значений
Таблица 2
Примечание. В таблице указаны уровни значимости, соответствующие эмпири- ческим значениям множественного t-критерия: 1 – «однородное» условие в тестовой се- рии, 2 – «неоднородное» условие в тестовой серии, 3 – «контрольное» условие. Видим, что различие средних при «однородном» и «неоднородном» условиях оказалось статистически незначимым, в то время как каждое из экспериментальных условий по среднему времени решения задач досто- верно отличается от аналогичного показателя для «контрольного» условия. Выявленные различия в средних значениях для разных условий наглядно представлены на графике (рис. 1).
130 120 110 100 90 80 70 60 50 40 30 Var1 1 2 3 Var2
Рис. 1. График средних значений
Таким образом, суть данных различий обозначена как «выученная беспомощность». Этот результат имеет научную ценность, поскольку предположение о существовании названного эффекта получило научное обоснование в ходе экспериментальной проверки. Если допустить наличие достоверных различий в среднем времени решения экспериментальной задачи между двумя экспериментальными группами и отсутствие значимых различий между экспериментальными и контрольной группами, то содержательная интерпретация будет неаде- кватной. Возможная причина – неправильная научная гипотеза, посколь- ку, вероятно, необходимо было учесть еще какой-то фактор. Тогда в соот- ветствии с гипотезой изменилась бы и методика эксперимента. В случае незавершенности исследования (п. I(2), II(2, 3)) можно про- должить его по следующим направлениям. 1. Усложнение экспериментального плана за счет исследования взаимодействия факторов, т. е. переход от однофакторной модели к двух- факторной. В процессе такого перехода может возникнуть неполный экс- периментальный план (если количество групп не исчерпывает всевоз- можные сочетания градаций факторов) или смешанный план (контроли- руются внутригрупповые и межгрупповые факторы одновременно). Тогда допускается специальный вариант дисперсионного анализа с неполным планом. Целесообразно использовать такой вариант обработки данных в пилотном исследовании. Если взаимодействие факторов будет обнару- жено, то имеет смысл провести полное исследование, с тем чтобы обеспе- чить ясность интерпретаций результата. При неполном эксперименталь- ном плане интерпретация является не до конца определенной. В случае смешанных планов, например, один фактор может быть межгрупповой (положен в основу разбиения объектов на группы), а дру- гой внутригрупповой, учитывающий различные воздействия на каждый объект во всех группах (контролируется внутри одной и той же группы по отдельности). Возможно также два межгрупповых и один внутригруппо- вой фактор, или наоборот, один межгрупповой и два внутригрупповых и т. д. [1]. Для получения адекватной интерпретации важно учитывать последовательность воздействий факторов и всевозможные компоненты дисперсии. 2. Усложнение условий эксперимента: использование составного ус- ловия, структуры которого оказывают влияние на результативный при- знак. Потребность в таком условии может возникнуть в процессе разра- ботки концепции, формирования рабочих гипотез, проверка которых предполагает определенную иерархическую структуру эксперимента. 3. Выделение взаимодействия факторов порядка выше первого (при взаимодействии более двух факторов). Двухфакторные взаимодействия в двухфакторной или многофакторной модели называются взаимодейст- виями первого порядка. Взаимодействие сразу трех факторов называют взаимодействием второго порядка. Содержательная интерпретация
взаимодействий более чем первого порядка представляет серьезную про- блему, их иерархия должна быть адекватна иерархии взаимосвязей в ги- потезе и условиям эксперимента. 4. Анализ динамики взаимодействия факторов (повторные измере- ния). При этом время можно рассматривать как еще один фактор или просто в динамике сопоставить характер влияния факторов на результа- тивный признак в условиях лонгитюдного исследования. Таким образом, интерпретация результатов многофакторного дис- персионного анализа должна учитывать обозначенные направления. Обеспечение ее адекватности требует детального анализа условий экспе- римента. Если эффект взаимодействия факторов не выявлен, то интер- претация воздействия отдельных факторов проводится по предложенной выше схеме. Если этот эффект обнаружен, то интерпретация результата дисперсионного анализа становится достаточно сложной. Разобраться в смысле полученного эффекта помогают графики взаимодействий. Од- нако можно и аналитически структурировать парные сравнения, выделив ситуацию, например, для двухфакторного взаимодействия: при разных градациях фактора А фактор В проявляет себя по-разному. Рассмотрим простейшую ситуацию. Четырем группам испытуемых предъявлялись списки из 10 слов. Группе 1 – короткие слова с большой скоростью; группе 2 – короткие слова с медленной скоростью; группе 3 – длинные слова с большой скоростью; группе 4 – длинные слова с медлен- ной скоростью. В каждой группе было по 4 испытуемых, всего N = 16. Высказано предположение, что между факторами длины слов (фактор А) и скоростью их предъявления (фактор В) будет наблюдаться значимое взаимодействие: при большой скорости предъявления лучше будут запо- минаться короткие слова, а при медленной скорости – длинные [6]. Сформулируем нулевые гипотезы относительно влияния факторов А и В и их взаимодействии: Н0 (А): различия в объеме воспроизведения слов, обусловленные дей- ствием фактора А, являются не более выраженными, чем случайные раз- личия между показателями. Н0 (В): различия в объеме воспроизведения слов, обусловленные дей- ствием фактора В, являются не более выраженными, чем случайные раз- личия между показателями. Н0 (АВ): влияние фактора А на объем воспроизведения слов одинако- во при разных градациях фактора В, и наоборот. Результаты вычислений (с помощью программы «Статистика») сле- дующие: FА < Fкр – принимаем Н0(А); FВ < Fкр – принимаем Н0(В); FАВ < Fкр – отклоня- ем Н0(АВ), принимаем Н1(АВ) (р < 0,01). Значимым является взаимодействие фак- торов. Его характер может быть определен по графику взаимодействий (на вертикальной оси отмечена зависимая переменная, на горизонтальной – гра- дации фактора В, отрезками – градации фактора А) (рис. 2). Из данного гра-
фика легко увидеть, что смысл взаимодействия факторов заключается в сле- дующем: короткие слова лучше запоминаются при быстрой скорости предъ- явления, а длинные – при медленной скорости предъявления. Рис. 2. График взаимодействия факторов: Var21; Var22 В табл. 3 приведены результаты парного сравнения средних, с по- мощью которых аналитически подтверждается суть выявленного взаимо- действия факторов (указаны уровни значимости, соответствующие эмпи- рическим значениям множественного t-критерия). Таблица 3 Результаты парного сравнения средних значений
Возможные сочетания факторов, если у каждого фактора две гра- дации (в табл. 3 градации фактора В обозначены как 3 и 4): А1В1; А1В2; А2В1; А2В2. Как видно по табл. 3 и графику взаимодействия факторов, досто- верно отличаются средние значения между группами А1В1 и А1В2; А1В1 и А2В1; А1В2 и А2В2; А2В1 и А2В2,, т. е. у одного фактора коэффициен- ты различны, у другого – одинаковы. Однако нулевая гипотеза о взаимо- действии факторов отвергается, если хотя бы одна из подобных пар име- ет достоверные различия средних значений при условии пересечения графиков. Отсюда ясно, что альтернативная гипотеза и для многофак- торного дисперсионного анализа имеет неконкретный характер. Она
уточняется в процессе множественного парного сравнения средних зна- чений, результаты которого содержательно интерпретируется. В реальной практике постоянно возникают более сложные ситуа- ции, когда факторов и их градаций больше двух. В таких случаях при множественном сравнении средних значений обилие информации за- трудняет выделить смысл влияния факторов или их взаимодействия. Сначала анализируют графики взаимодействий, выделяя на них взаимо- действия первого порядка по точкам пересечения графиков. Но смысл этих взаимодействий при большом числе градаций факторов может ока- заться неочевидным, что вызывает необходимость в специальном струк- турировании полученной информации. Таким образом, с одной стороны, формальная реализация простей- ших вариантов дисперсионного анализа не вызывает проблем. С другой стороны, усложнение вариантов дисперсионного анализа приводит к проблеме интерпретации результатов. Однако даже в простейших слу- чаях поиск научного смысла полученного результата неразрывно связан со структурированием условий эксперимента и разработкой определен- ной схемы содержательного анализа результатов обработки эксперимен- тальных данных на основе используемой концепции исследования. Поэтому можно утверждать, что применение дисперсионного анализа открывает дополнительные возможности для повышения качества психолого- педагогических исследований за счет специальной организации педагогиче- ского эксперимента, позволяющего варьировать и контролировать различные факторы (или учета определенных условий, в которых рассматривается дей- ствие факторов), а затем – оценки характера их влияния на зависимые пере- менные. Адекватная интерпретация полученного результата является основой для определения его научной новизны и практической значимости. Литература 1. Гусев А. Н. Дисперсионный анализ в экспериментальной психоло- гии. М.: Учеб.-метод. коллектор «Психология», 2000. 136 с. 2. Загвязинский В. И., Атаханов Р. Методология и методы психолого-пе- дагогического исследования. М.: Издат. центр «Академия», 2001. 208 с. 3. Колесников А. К., Лебедева И. П. Дисперсионный анализ и его компь- ютерная реализация. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 100 с. 4. Колесников А. К., Лебедева И. П. Комплексное применение мате- матических методов в психолого-педагогическом исследовании. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 24 с. 5. Мешкова И. В. Развитие личности в профессионально-образова- тельном пространстве // Образование и наука. Изв. УрО РАО. 2009. № 7. С. 41. 6. Сидоренко Е. В. Методы математической обработки в психоло- гии. СПб.: ООО «Речь», 2000. 350 с.
Образование и наука. 2010. № 7 (75) УПРАВЛЕНИЕ ОБРАЗОВАНИЕМ УДК 378 + 658 + 339.1 С. Г. Борисова |
| Оглавление| |