Дисперсионный анализ в психолого- педагогическом исследовании: проблема интерпретации

Аннотация. В статье рассматриваются возможности использования дис- персионного анализа в психолого-педагогическом исследовании, описываются различные подходы  к интерпретации полученных результатов с учетом условия эксперимента.

Ключевые слова: дисперсионный анализ, условия эксперимента,   исследо-

вание, интерпретация.

Abstract. The paper considers application of dispersion analysis in psychological and pedagogical research and describes various approaches to interpretation of the re- search data, taking into account the experimental conditions.

Index terms: dispersion analysis, experimental conditions, research, interpretation.

В современных психолого-педагогических исследованиях повышается роль математического аппарата, которая рассматривается в аспекте сис- темного синтеза гуманитарного (содержательного) и формально-логического подходов [2, 4, 5]. Особое место среди математических методов занимает дисперсионный анализ, предусматривающий оценку влияния качественных признаков  на  количественные  переменные.  С помощью  дисперсионного анализа изучают изменчивость признака (например, успешность обучения) под влиянием каких-либо контролируемых факторов (различных методик обучения, стимулов, форм организации учебного процесса и т. д.). Наиболее интересен вариант многофакторного дисперсионного анализа, позволяющий не только учитывать влияние отдельных факторов на зависимую перемен- ную, но и оценивать эффект их взаимодействия.

Алгоритм реализации дисперсионного анализа, предполагающий проверку гипотез о значимости влияния конкретных факторов на иссле- дуемый  признак,  достаточно полно  описан  в специальной литературе. Формальное фиксирование его результата в виде принятия или отверже- ния нулевой гипотезы не вызывает затруднений.

Часто нулевая гипотеза формулируется в следующем виде: различия в уровне результативного признака между градациями фактора (разными ус- ловиями) являются не более выраженными, чем случайные различия внутри

каждой группы. Считается также, что основной целью дисперсионного анали- за является исследование значимости различия между средними. При этом иногда ошибочно полагают, что ее можно решить с помощью t-критерия Стьюдента путем многократных парных сравнений однородных и неоднород- ных групп. Однако в данном случае трудно обнаружить ошибку выполненной процедуры  или  составного  критерия  при  заданном  уровне  значимости t-критерия. Дело в том, что, сравнивая много групп, эффект можно обнару- жить случайно. Причем высока вероятность того, что это арт-эффект.

Подобные сравнения предусмотрены однофакторным дисперсион- ным анализом. Проверяемая с его помощью нулевая гипотеза (Н0): сред- ние значения признака во всех градациях фактора равны; альтернатив- ная гипотеза (Н1): по крайней мере одно среднее отличается от других. Далее нужно понять, какие средние отличаются от других, т. е. опреде- лить характер влияния фактора. Для этого используют процедуры парно- го сравнения средних значений.

В основе дисперсионного анализа лежит предположение о том, что од- ни переменные могут рассматриваться как причины (факторы, независи- мые переменные), а другие как следствия (зависимые переменные). Незави- симые переменные называют иногда регулируемыми факторами именно по- тому, что в эксперименте исследователь имеет возможность варьировать ими и анализировать получающийся результат. Если фактор рассматривает- ся не в условиях эксперимента, то возникает проблема обоснования причин- но-следственных отношений. Такое обоснование, очевидно, проводится на базе используемой исследователем теоретической концепции. За ее рамками интерпретация причинно-следственных связей может оказаться несостоя- тельной. Поэтому применение дисперсионного анализа, кроме выполнения определенных математических допущений, предполагает предварительную формализацию объекта исследования и описание границ применимости по- лученных результатов. После ее проведения дисперсионный анализ необхо- димо осуществлять в следующей последовательности (с учетом ограничений):

● проверка нормальности распределения результативного признака для наблюдений, соответствующих каждому уровню (градации) фактора;

● проверка однородности дисперсий (в случае неравных выборок);

● вычисление критерия Фишера для проверки нулевой гипотезы;

● выполнение множественного парного сравнения средних, если ну-

левая гипотеза отвергается (принимается альтернативная);

● содержательная интерпретация результатов сравнения средних.

Последний этап вызывает наибольшие трудности, поскольку пред- полагает серьезный теоретический и методологический анализ проблемы и понимание смысла промежуточных, а главное – итоговых результатов. Это объясняется следующими причинами:

1) несоответствие реальности факторов и результативного признака;

2) противоречивость содержательного смысла различий средних;

3) отсутствие научной ценности (тривиальность) результата.

Рассмотрим возможные варианты результатов, полученных при обра- ботке данных с помощью однофакторного дисперсионного анализа, и спосо- бы их интерпретации. Следует заметить, что интерпретация неэксперимен- тальных данных может оказаться неоднозначной и недостаточно аргументи- рованной. Поэтому данный вариант дисперсионного анализа целесообразно использовать как предварительный, предполагающий затем либо дальней- шую проверку устойчивости полученного результата, либо проведение экс- перимента. Соотнесение результата и условий эксперимента может служить научной основой для адекватных и конструктивных интерпретаций, исклю- чающих альтернативные толкования. Договоримся под условиями экспери- мента понимать структуру целенаправленных воздействий на выборочную совокупность. Тогда условие эксперимента будет простым при однократном и сложным при многократном (хотя бы двукратном) воздействии.

Предположим, влияние фактора не установлено (принята нулевая гипотеза). Возможные причины: малая выборка; фактор не является су- щественным; фактор проявляет себя только при взаимодействии с другим фактором.

Пусть влияние фактора установлено. В процессе интерпретации ре- зультатов будем учитывать условия эксперимента. Возможны следующие случаи.

I. Экспериментальное условие простое:

1. Содержательная интерпретация адекватна. Тогда следует оценка научной и теоретической значимости и практической ценности получен- ного результата с позиции выбранной концепции исследования.

2. Содержательная   интерпретация   неадекватна.   Целесообразно проведение многофакторного дисперсионного анализа, если позволяет экспериментальный план.  В противном случае  исследование считается незавершенным. Если разбиение на группы не соответствует модели мно- гофакторного эксперимента, то необходимо его дополнить (или выбрать вариант дисперсионного анализа с неполным планом).

3. Содержательная интерпретация неясна. Скорее всего, недоработана концепция исследования и соответствующая ей методика эксперимента.

II. Экспериментальное условие составное:

1. Содержательная интерпретация учитывает структуру данного ус- ловия. Например, осуществляются два воздействия на выборку. Причем, согласно концепции исследования, первое воздействие является фоно- вым, поскольку по отношению к нему рассматриваются результаты вто- рого воздействия. Поэтому целесообразно различать контрольную группу (отличающуюся от экспериментальных предварительным условием, т. е. характером первоначального воздействия), экспериментальную группу 1 (условие однородное – первое и второе воздействия одинаковы), экспери- ментальную группу 2 (условие неоднородное – первое и второе воздейст- вия неодинаковы). Тогда результат эксперимента положительный, если среднее  значение  в обеих  экспериментальных  группах  отличается  от

среднего  в контрольной  группе,  а между  двумя  экспериментальными группами достоверных отличий в аналогичных показателях не обнаруже- но. Данный результат отражает смысл исследуемого феномена, так как различия результатов второго воздействия соотнесены с характером пер- вого воздействия. Для планирования подобной структуры эксперимента должна быть предварительная гипотеза о характере проявления фактора. Исследование можно считать завершенным.

2. Содержательная интерпретация адекватна, но не учитывает со- ставное  условие.  Значит,  концепция  исследования,  а соответственно, и методика эксперимента требуют корректировки. Исследование не явля- ется завершенным.

3. Содержательная   интерпретация   неадекватна.   Целесообразно проведение многофакторного дисперсионного анализа, возможно, после корректировки концепции исследования, поскольку условие не обяза- тельно должно быть составным.

Дисперсионный анализ может не иметь целью подтверждение ка- кой-то научной гипотезы, а значит, его результат может не обладать на- учной ценностью. Тогда естественность полученных интерпретаций мо- жет сделать их полезными непосредственно для практики.

Очевидно, что наиболее интересен второй случай. Приведем пример. С. А. Шапкиным проводилось исследование феномена «выученной беспо- мощности», т. е. снижение у человека способности к решению задач, если перед этим он подвергался переживанию неуспеха в сходных ситуациях. Эксперимент заключался в следующем. Трем группам испытуемых предла- гались анаграммы. Первая группа в предварительной серии проб пыталась решать неразрешимые анаграммы, а в тестовой серии этой группе также предъявлялись анаграммы, но уже разрешимые. Второй группе испытуе- мых в предварительной серии предлагались неразрешимые анаграммы, но в тестовую серию были включены другие (разрешимые) задачи – на уста- новление  закономерностей.  Третья  группа  испытуемых  (контрольная) в предварительной серии  не  подвергалась  переживанию неуспеха –  им предъявлялись разрешимые анаграммы, а в тестовой серии они решали оба типа задач (анаграммы и задачи на установление закономерностей) [1].

В данном примере фактор – «условие решения задач в тестовой серии, задаваемое в предварительной серии»; зависимая переменная – «время ре- шения экспериментальной задачи». Проверяемая гипотеза (Н0): различия во времени решения экспериментальной задачи между группами являются не более выраженными, чем случайные различия внутри каждой группы.

Однородность дисперсии можно не проверять в силу одинакового коли- чества наблюдений в каждой градации. Результаты дисперсионного анализа (полученные с помощью программы «Статистика») представлены в табл. 1.

Поскольку Fэмп > Fкр, отвергаем Н0, принимаем Н1   (p < 0,01), т. е.

фактор  «условие  решения  задачи»  влияет  на  зависимую  переменную

«время решения задачи».

Результаты дисперсионного анализа

Таблица 1

Проведем множественные парные сравнения средних значений для определения   характера   этого   влияния   с помощью   множественного t-критерия Стьюдента (табл. 2).

Результаты парного сравнения средних значений

Таблица 2

Примечание. В таблице указаны уровни значимости, соответствующие эмпири- ческим значениям множественного t-критерия: 1 – «однородное» условие в тестовой се- рии, 2 – «неоднородное» условие в тестовой серии, 3 – «контрольное» условие.

Видим, что различие средних при «однородном» и «неоднородном» условиях оказалось статистически незначимым, в то время как каждое из экспериментальных условий по среднему времени решения задач досто- верно отличается от аналогичного показателя для «контрольного» условия. Выявленные различия в средних значениях для разных условий наглядно представлены на графике (рис. 1).

130

120

110

100

90

80

70

60

50

40

30

Var1

1          2          3

Var2

Рис. 1. График средних значений

Таким образом, суть данных различий обозначена как «выученная беспомощность». Этот результат имеет научную ценность, поскольку предположение о существовании названного эффекта получило научное обоснование в ходе экспериментальной проверки.

Если допустить наличие достоверных различий в среднем времени решения экспериментальной задачи между двумя экспериментальными группами и отсутствие значимых различий между экспериментальными и контрольной группами, то содержательная интерпретация будет неаде- кватной. Возможная причина – неправильная научная гипотеза, посколь- ку, вероятно, необходимо было учесть еще какой-то фактор. Тогда в соот- ветствии с гипотезой изменилась бы и методика эксперимента.

В случае незавершенности исследования (п. I(2), II(2, 3)) можно про-

должить его по следующим направлениям.

1. Усложнение  экспериментального  плана  за  счет  исследования взаимодействия факторов, т. е. переход от однофакторной модели к двух- факторной. В процессе такого перехода может возникнуть неполный экс- периментальный план (если количество групп не исчерпывает всевоз- можные сочетания градаций факторов) или смешанный план (контроли- руются внутригрупповые и межгрупповые факторы одновременно). Тогда допускается специальный вариант дисперсионного анализа с неполным планом. Целесообразно использовать такой вариант обработки данных в пилотном исследовании. Если взаимодействие факторов будет обнару- жено, то имеет смысл провести полное исследование, с тем чтобы обеспе- чить ясность интерпретаций результата. При неполном эксперименталь- ном плане интерпретация является не до конца определенной.

В случае смешанных планов, например, один фактор может быть межгрупповой (положен в основу разбиения объектов на группы), а дру- гой внутригрупповой, учитывающий различные воздействия на каждый объект во всех группах (контролируется внутри одной и той же группы по отдельности). Возможно также два межгрупповых и один внутригруппо- вой фактор, или наоборот, один межгрупповой и два внутригрупповых и т. д. [1]. Для получения адекватной интерпретации важно учитывать последовательность воздействий факторов и всевозможные компоненты дисперсии.

2. Усложнение условий эксперимента: использование составного ус- ловия, структуры которого оказывают влияние на результативный при- знак. Потребность в таком условии может возникнуть в процессе разра- ботки концепции, формирования рабочих гипотез, проверка которых предполагает определенную иерархическую структуру эксперимента.

3. Выделение взаимодействия факторов порядка выше первого (при взаимодействии более двух факторов). Двухфакторные взаимодействия в двухфакторной или многофакторной модели называются взаимодейст- виями первого порядка. Взаимодействие сразу трех факторов называют взаимодействием   второго   порядка.   Содержательная   интерпретация

взаимодействий более чем первого порядка представляет серьезную про- блему, их иерархия должна быть адекватна иерархии взаимосвязей в ги- потезе и условиям эксперимента.

4. Анализ динамики взаимодействия факторов (повторные измере- ния). При этом время можно рассматривать как еще один фактор или просто в динамике сопоставить характер влияния факторов на результа- тивный признак в условиях лонгитюдного исследования.

Таким образом, интерпретация результатов многофакторного дис- персионного анализа должна учитывать обозначенные направления. Обеспечение ее адекватности требует детального анализа условий экспе- римента. Если эффект взаимодействия факторов не выявлен, то интер- претация воздействия отдельных факторов проводится по предложенной выше схеме. Если этот эффект обнаружен, то интерпретация результата дисперсионного  анализа  становится  достаточно  сложной.  Разобраться в смысле полученного эффекта помогают графики взаимодействий. Од- нако можно и аналитически структурировать парные сравнения, выделив ситуацию, например, для двухфакторного взаимодействия: при разных градациях фактора А фактор В проявляет себя по-разному.

Рассмотрим простейшую ситуацию. Четырем группам испытуемых предъявлялись списки из 10 слов. Группе 1 – короткие слова с большой скоростью; группе 2 – короткие слова с медленной скоростью; группе 3 – длинные слова с большой скоростью; группе 4 – длинные слова с медлен- ной скоростью. В каждой группе было по 4 испытуемых, всего N = 16. Высказано предположение, что между факторами длины слов (фактор А) и скоростью их предъявления (фактор В) будет наблюдаться значимое взаимодействие: при большой скорости предъявления лучше будут запо- минаться короткие слова, а при медленной скорости – длинные [6].

Сформулируем нулевые гипотезы относительно влияния факторов

А и В и их взаимодействии:

Н0 (А): различия в объеме воспроизведения слов, обусловленные дей- ствием фактора А, являются не более выраженными, чем случайные раз- личия между показателями.

Н0 (В): различия в объеме воспроизведения слов, обусловленные дей-

ствием фактора В, являются не более выраженными, чем случайные раз-

личия между показателями.

Н0 (АВ): влияние фактора А на объем воспроизведения слов одинако-

во при разных градациях фактора В, и наоборот.

Результаты вычислений (с помощью программы «Статистика») сле-

дующие:

FА < Fкр – принимаем Н0(А); FВ < Fкр – принимаем Н0(В); FАВ < Fкр – отклоня- ем Н0(АВ), принимаем Н1(АВ) (р < 0,01). Значимым является взаимодействие фак- торов. Его характер может быть определен по графику взаимодействий (на вертикальной оси отмечена зависимая переменная, на горизонтальной – гра- дации фактора В, отрезками – градации фактора А) (рис. 2). Из данного гра-

фика легко увидеть, что смысл взаимодействия факторов заключается в сле- дующем: короткие слова лучше запоминаются при быстрой скорости предъ- явления, а длинные – при медленной скорости предъявления.

Рис. 2. График взаимодействия факторов:

Var21;             Var22

В табл. 3 приведены результаты парного сравнения средних, с по- мощью которых аналитически подтверждается суть выявленного взаимо- действия факторов (указаны уровни значимости, соответствующие эмпи- рическим значениям множественного t-критерия).

Таблица 3

Результаты парного сравнения средних значений

Возможные сочетания факторов, если у каждого фактора две гра-

дации (в табл. 3 градации фактора В обозначены как 3 и 4):

А1В1; А1В2; А2В1; А2В2.

Как видно по табл. 3 и графику взаимодействия факторов, досто- верно   отличаются   средние   значения   между   группами   А1В1 и А1В2; А1В1 и А2В1; А1В2 и А2В2; А2В1 и А2В2,, т. е. у одного фактора коэффициен- ты различны, у другого – одинаковы. Однако нулевая гипотеза о взаимо- действии факторов отвергается, если хотя бы одна из подобных пар име- ет достоверные различия средних значений при условии пересечения графиков. Отсюда ясно, что альтернативная гипотеза и для многофак- торного  дисперсионного  анализа  имеет  неконкретный  характер.  Она

уточняется в процессе множественного парного сравнения средних зна-

чений, результаты которого содержательно интерпретируется.

В реальной практике постоянно возникают более сложные ситуа- ции, когда факторов и их градаций больше двух. В таких случаях при множественном сравнении средних значений обилие информации за- трудняет выделить смысл влияния факторов или их взаимодействия. Сначала анализируют графики взаимодействий, выделяя на них взаимо- действия первого порядка по точкам пересечения графиков. Но смысл этих взаимодействий при большом числе градаций факторов может ока- заться неочевидным, что вызывает необходимость в специальном струк- турировании полученной информации.

Таким образом, с одной стороны, формальная реализация простей- ших вариантов дисперсионного анализа не вызывает проблем. С другой стороны,   усложнение   вариантов   дисперсионного  анализа   приводит к проблеме интерпретации результатов. Однако даже в простейших слу- чаях поиск научного смысла полученного результата неразрывно связан со структурированием условий эксперимента и разработкой определен- ной схемы содержательного анализа результатов обработки эксперимен- тальных данных на основе используемой концепции исследования.

Поэтому можно утверждать, что применение дисперсионного анализа открывает дополнительные возможности для повышения качества психолого- педагогических исследований за счет специальной организации педагогиче- ского эксперимента, позволяющего варьировать и контролировать различные факторы (или учета определенных условий, в которых рассматривается дей- ствие факторов), а затем – оценки характера их влияния на зависимые пере- менные. Адекватная интерпретация полученного результата является основой для определения его научной новизны и практической значимости.

Литература

1. Гусев А. Н. Дисперсионный анализ в экспериментальной психоло-

гии. М.: Учеб.-метод. коллектор «Психология», 2000. 136 с.

2. Загвязинский В. И., Атаханов Р. Методология и методы психолого-пе-

дагогического исследования. М.: Издат. центр «Академия», 2001. 208 с.

3. Колесников А. К., Лебедева И. П. Дисперсионный анализ и его компь-

ютерная реализация. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 100 с.

4. Колесников А. К., Лебедева И. П. Комплексное применение мате- матических  методов  в психолого-педагогическом исследовании. Пермь: Изд-во Пермск. гос. пед. ун-та, 2010. 24 с.

5. Мешкова И. В. Развитие  личности  в профессионально-образова- тельном пространстве // Образование и наука. Изв. УрО РАО. 2009. № 7. С. 41.

6. Сидоренко Е. В. Методы  математической  обработки  в психоло-

гии. СПб.: ООО «Речь», 2000. 350 с.

Образование и наука. 2010. № 7 (75)         

УПРАВЛЕНИЕ

ОБРАЗОВАНИЕМ

УДК 378 + 658 + 339.1

С. Г. Борисова