Статистическая обработка результатов учебно-исследовательской деятельности учащихся - Учебное пособие (Мельникова Ю.Б.)

3.9 проверка статистических гипотез

Задачи статистической проверки гипотез

Одна из часто встречающихся на практике задач, связанных с при­менением статистических методов, состоит в решении вопроса о том, должно ли на основании данной выборки быть принято или, напро­тив, отвергнуто некоторое предположение (гипотеза) относительно ге­неральной совокупности (случайной величины).

Например, новое лекарство испытано на определенном числе лю­дей. Можно ли сделать по данным результатам лечения обоснованный вывод о том, что новое лекарство более эффективно, чем применявшие­ся ранее методы лечения? Аналогичный вопрос логично задать, говоря о новом правиле поступления в вуз, о новом методе обучения, о пользе быстрой ходьбы, о преимуществах новой модели автомобиля или тех­нологического процесса и т. д.

Процедура сопоставления высказанного предположения (гипотезы) с выборочными данными называется проверкой гипотез.

Задачи статистической проверки гипотез ставятся в следующем виде: относительно некоторой генеральной совокупности высказыва­ется та или иная гипотеза Н. Из этой генеральной совокупности из­влекается выборка. Требуется указать правило, при помощи которого можно было бы по выборке решить вопрос о том, следует ли отклонить гипотезу Н или принять ее.

Следует отметить, что статистическими методами гипотезу можно только опровергнуть или не опровергнуть, но не доказать. Например, для проверки утверждения (гипотеза Н) автора, что «в рукописи нет ошибок», рецензент прочел (изучил) несколько страниц рукописи.

Если он обнаружил хотя бы одну ошибку, то гипотеза Н отверга­ется, в противном случае — не отвергается, говорят, что «результат проверки с гипотезой согласуется».

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки.

 

Статистическая гипотеза. Статистический критерий

   Под статистической гипотезой (или просто гипотезой) понимают всякое высказывание (предположение) о генеральной совокупности, проверяемое по выборке.

Статистические гипотезы делятся на гипотезы о параметрах рас­пределения известного вида (это так называемые параметрические ги­потезы) и гипотезы о виде неизвестного распределения {непараметрические  гипотезы).

Одну из гипотез выделяют в качестве основной (или нулевой) и обозначают Но, а другую, являющуюся логическим отрицанием Но, т. е. противоположную Но — в качестве конкурирующей (или альтер­нативной) гипотезы и обозначают Н1.

Гипотезу, однозначно фиксирующую распределение наблюдений, называют простой (в ней идет речь об одном значении параметра), в противном случае — сложной.

Имея две гипотезы Но и Н1 надо на основе выборки Х1,... ,Хn принять либо основную гипотезу Но, либо конкурирующую Н1.

Правило, по которому принимается решение принять или откло­нить гипотезу Но (соответственно, отклонить или принять Н1), назы­вается статистическим критерием (или просто критерием) проверки гипотезы Но.

Проверку гипотез осуществляют на основании результатов выбор­ки Х1,... ,Хn из которых формируют функцию выборки Тn = Tn(Х1,... ,Хn), называемой статистикой критерия.

Основной принцип проверки гипотез состоит в следующем. Мно­жество возможных значений статистики критерия Тn разбивается на два непересекающихся подмножества: критическую область S т.е. область отклонения гипотезы Но и область Š принятия этой гипоте­зы. Если фактически наблюдаемое значение статистики критерия (т. е. значение критерия, вычисленное по выборке: Тнабл = Т(Х1,... ,Хn) попадает в критическую область S, то основная гипотеза Но отклоняет­ся и принимается альтернативная гипотеза Н1; если же Тнабл попадает в Š, то принимается Но, а Н1 отклоняется.

При проверке гипотезы может быть принято неправильное реше­ние, т. е. могут быть допущены ошибки двух родов;

Ошибка первого рода состоит в том, что отвергается нулевая гипо­теза Но, когда на самом деле она верна.

Ошибка второго рода состоит в том, что отвергается альтернатив­ная гипотеза Н1, когда она на самом деле верна.

Рассматриваемые случаи наглядно иллюстрирует следующая таб­лица.

 

Гипотеза Но

 

Отвергается

 

Принимается

 

верна

неверна

 

ошибка 1-го рода

правильное решение

 

правильное решение

ошибка 2-го рода

 

 

Вероятность ошибки 1-го рода (обозначается через α) называется в уровнем значимости критерия. 

Очевидно, α= р(Н1/Н0). Чем меньше α, тем меньше вероятность отклонить верную гипотезу. Допустимую ошибку 1-го рода обычно задают заранее.                                                

В одних случаях считается возможным пренебречь событиями, вероятность которых меньше 0,05 (α= 0,05 означает, что в среднем в 5 случаях из 100 испытаний верная гипотеза будет, отвергнута), в других случаях, когда речь идет, например, о разрушении сооружений, гибели судна и т. п., нельзя пренебречь обстоятельствами, которые могут появиться с вероятностью, равной 0,001. 

Обычно для α используются стандартные значения: α =0,05 ; α= 0,01; 0,005; 0,001.

Вероятность ошибки 2-го рода обозначается через β, т.е. β=р(Н0/Н1).

Величину 1 — β, т.е. вероятность недопущения ошибки 2-го (отвергнуть неверную гипотезу Н0, принять верную Н1), называют мощностью критерия.

Очевидно, 1 — β = р(Н1/Н1) =р((.х1, х2,..., хn) ЄS/Н1).

Чем больше мощность критерия, тем вероятность ошибки 2-го рода, меньше, что, конечно, желательно (как и уменьшение α).

Последствия ошибок 1-го, 2-го рода могут быть совершенно различными: в одних случаях надо минимизировать α, в другом — β. Так, применительно к радиолокации говорят, что α — вероятное пропуска сигнала, β— вероятность ложной тревоги; применительно к производству, к торговле можно сказать, что α — риск поставщика (т.е. забраковка по выборке всей партии изделий,  удовлетворяют стандарту), β — риск потребителя (т. е. прием по выборке всей партии изделий, не удовлетворяющей стандарту); применительно к судебной системе, ошибка 1-го рода приводит к оправданию виновного, ошибка 2-го рода — осуждению невиновного.

Отметим, что одновременное уменьшение ошибок 1-го и 2-го возможно лишь при увеличении объема выборок. Поэтому обычно при заданном уровне значимости α отыскивается критерий с наибольшей мощностью.

Методика проверки гипотез сводится к следующему:

Располагая выборкой Х1, Х2,…,Хn формируют нулевую гипотезу Н0 и альтернативную Н1.

В каждом конкретном случае подбирают статистику критерия Тn = = Т(Х1, Х2,…,Хn), обычно из перечисленных ниже: U—нормаль­ное распределение, χ2 — распределение хи-квадрат (Пирсона), t — распределение Стьюдента, F— распределение Фишера-Снедекора.

По статистике критерия Тn и уровню значимости α определяют критическую область S (и Š). Для ее отыскания достаточно найти критическую точку tкр т. е. границу (или квантиль), отделяющую область S от Š.

Границы областей определяются, соответственно, из соотношений:

Р(Тn > tкр) = α, для правосторонней критической области S (рис); Р(Тn< tкр) = α. Для левосторонней критической обла­сти S (рисунок приведен ниже); Р(Тn < tлкр) = Р(Тn > tлкр)=α/2,  для двусторонней критической области S (следующий рисунок).

Для каждого критерия имеются соответствующие таблицы, по ко­торым и находят критическую точку, удовлетворяющую приведен­ным выше соотношениям.

Для полученной реализации выборки х = (х1, х2,  …, хn) подсчи­тывают значение критерия, т. е. Тнабл = Т(х1, х2,  …, хn) = t.

Если t Є S (например, t> tкр для правосторонней области S), то нулевую гипотезу Hо отвергают; если же t ЄŠ (t< tкр), то нет оснований, чтобы отвергнуть гипотезу Hо.

 

 

3.10 Проверка гипотез о законе распределения

Во многих случаях закон распределения изучаемой случайно величины неизвестен, но есть основания предположить, что он имеет вполне определенный вид: нормальный, биномиальный или какой-либо другой.                                                       

Пусть необходимо проверить гипотезу Но о том, что Х подчиняется определенному закону распределения, заданному функцией распределения Fо(х}, т.е. Но: Fх(x) = Fо(x). Под альтернативной гипотезой Н1 будем понимать в данном случае то, что просто не выполнена основная (т.е. Н1: Fх(x)≠F0(x)).

Для проверки гипотезы о распределении случайной величины Х проведем выборку, которую оформим в виде статистического ряда:

хi

х1

х2

хm

ni

n1

n2

nm

 

Где ∑ ni = n – объем выборки.

Требуется сделать заключение: согласуются ли результаты наблю­дений с высказанным предположением. Для этого используем специ­ально подобранную величину — критерий согласия.

Критерием согласия называют статистический критерий проверки гипотезы о предполагаемом законе неизвестного распределения. (Он используется для проверки согласия предполагаемого вида распреде­ления с опытными данными на основании выборки.)

Существуют различные критерии согласия: Пирсона, Колмогорова, Фишера, Смирнова и др.

Критерий согласия Пирсона — наиболее часто употребляемый кри­терий для проверки простой гипотезы о законе распределения.

 

Критерий χ2 Пирсона

Для проверки гипотезы Н0 поступают следующим образом. Разбивают всю область значений  Х на m интервалов Δ1, Δ2,…, Δm и подсчитывают вероятности рi (i= 1,2,..., m) попа­дания  Х (т.е. наблюдения) в интервал Δi, используя формулу Р{α ≤ Х ≤β} = F0(β) — Fо(α). Тогда теоретическое число значений X, попавших в интервал Δi можно рассчитать по формуле n • рi. Таким образом, имеем статистический ряд распределения Х и теоретический ряд распределения:

Δ1

Δ2

Δm

n΄1=np1

n΄2=np2

n΄m=npm

Если эмпирические частоты (ni) сильно отличаются от теоретиче­ских (n΄i=npi), то проверяемую гипотезу Н0 следует отвергнуть; в противном случае — принять.

Каким критерием, характеризующим степень расхождения между эмпирическими и теоретическими частотами, следует воспользоваться? В качестве меры расхождения между ni и npi для i=1,2,...,m

К. Пирсон (1857-1936; английский математик, статик, биолог, философ) пред­ложил величину («критерий Пирсона»):

χ² = Σ((ni-npi)²)/npi =Σ n²i/npi  - n  , i=1,..,m

Согласно теореме Пирсона, при  n→∞ статистика  имеет χ2-распределение с k = m-r-l  степенями свободы, где m - число групп (интервалов) выборки, r— число параметров предполагаемого распре­деления. В частности, если предполагаемое распределение нормально, то оценивают два параметра (а и σ), поэтому число степеней свободы  k = m - 3.

Правило применения критерия  χ2 сводится к следующему:

1. По формуле  вычисляют χ2набл — выборочное значение стати­стики критерия.

2. Выбрав уровень значимости α критерия, по таблице χ2 -распреде­ления находим критическую точку (квантиль) χ2α,k.

3. Если χ2набл ≤ χ2α,k, гипотеза Н0 не противоречит опытным дан­ным; если χ2набл >χ2α,k, гипотеза Н0 отвергается. Необходимым условием применения критерия Пирсона является наличие в каждом из интервалов не менее 5 наблюдений (т.е. ni ≥ 5). Если в отдельных интервалах их меньше, то число интервалов надо уменьшить путем объединения (укрупнения) соседних интервалов.

 

Критерий Колмогорова

Критерий Колмогорова для простой гипотезы является наиболее простым критерием проверки гипотезы о виде закона распределения. Он связывает эмпирическую функцию распределения  F*n(x) с функци­ей распределения F(х) непрерывной случайной величины X.

Пусть х1, х2,…,хn — конкретная выборка из распределения с не­известной непрерывной функцией распределения F(х) и F*n(х) - эмпи­рическая функция распределения. Выдвигается простая гипотеза Но:  F(х) = Fо (х) (альтернативная Но: F(х) ≠ Fо (х), х Є R).

Сущность критерия Колмогорова состоит в том, что вводят в рас­смотрение функцию

Dn = max │ F*n(х)  - Fо (х) │, -∞ < x < +∞,

называемой статистикой Колмогорова, представляющей собой мак­симальное отклонение эмпирической функции распределения F*n(х)  от гипотетической (т. е. соответствующей теоретической) функции распре­деления Fо (х).

Колмогоров доказал, что при n→∞ закон распределения слу­чайной величины √n• Dn независимо от вида распределения  Х стремится к закону распределения Колмогорова:

P{√n• Dn<x}→K(x)

где К(х) — функция распределения Колмогорова, для которой соста­влена таблица, ее можно использовать для расчетов уже при n≥ 20:

α

 

0,1

 

0,05

 

0,02

 

0,01

 

0,001

 

x0

 

1,224

 

1,358

 

1,520

 

1,627

 

1,950

 

Найдем такое Do, что Р(Dn > Do) = α

Рассмотрим уравнение К(х) = 1 - α. С помощью функции Колмого­рова найдем корень x0 этого уравнения. Тогда по теореме Колмогорова,

P{√n• Dn<x0} = 1 - α, P{√n• Dn>x0} = α , откуда Do = x0/√n

Если Dn < Do, то гипотезу Ho нет оснований отвергать; в против­ном случае - ее отвергают.

 

3.11 Задачи

1. Распределение признака Х (случайной величины X) в выборке за­дано следующей таблицей:

xi-1 - xi

0-0,1

0,1-0,2

0,2-0,3

0,3-0,4

0,4-0,5

ni

105

95

100

100

102

xi-1 - xi

0,5-0,6

0,6-0,7

0,7-0,8

0,8-0,9

0,9-1,0

ni

98

104

96

105

95

 

При уровне значимости α= 0,01 проверить гипотезу Но, состоящую в том, что  Х имеет равномерное распределение на отрезке [0,1]

 (вероятности рi, определяются формулами рi = hi (i= 1, 2,..., k)

где hi — длина i -го отрезка [xi-1 ; xi]   ( Σ hi=1, где i=1,…,k)).

2. Результаты наблюдений над Х (рост мужчины) представлены в виде статистического ряда:

Х'(рост)

 

[150 - 155)

 

[155 - 160)

 

[160 - 165)

 

[165 - 170)

 

ni(частота)

 

6

 

22

 

36

 

46

 

X(рост)

 

[170 - 175)

 

[175 - 180)

 

[180 - 185)

 

[185 - 190)

 

ni(частота)

 

56

 

24

 

8

 

2

 

Проверить при уровне значимости α = 0,05 гипотезу Ho о том, что  Х подчиняется нормальному закону распределения, используя критерий согласия Пирсона.

3. По данным упражнения 2 проверить гипотезу о нормальном рас­пределении X, используя критерий Колмогорова.