3.9 проверка статистических гипотезЗадачи статистической проверки гипотез Одна из часто встречающихся на практике задач, связанных с применением статистических методов, состоит в решении вопроса о том, должно ли на основании данной выборки быть принято или, напротив, отвергнуто некоторое предположение (гипотеза) относительно генеральной совокупности (случайной величины). Например, новое лекарство испытано на определенном числе людей. Можно ли сделать по данным результатам лечения обоснованный вывод о том, что новое лекарство более эффективно, чем применявшиеся ранее методы лечения? Аналогичный вопрос логично задать, говоря о новом правиле поступления в вуз, о новом методе обучения, о пользе быстрой ходьбы, о преимуществах новой модели автомобиля или технологического процесса и т. д. Процедура сопоставления высказанного предположения (гипотезы) с выборочными данными называется проверкой гипотез. Задачи статистической проверки гипотез ставятся в следующем виде: относительно некоторой генеральной совокупности высказывается та или иная гипотеза Н. Из этой генеральной совокупности извлекается выборка. Требуется указать правило, при помощи которого можно было бы по выборке решить вопрос о том, следует ли отклонить гипотезу Н или принять ее. Следует отметить, что статистическими методами гипотезу можно только опровергнуть или не опровергнуть, но не доказать. Например, для проверки утверждения (гипотеза Н) автора, что «в рукописи нет ошибок», рецензент прочел (изучил) несколько страниц рукописи. Если он обнаружил хотя бы одну ошибку, то гипотеза Н отвергается, в противном случае — не отвергается, говорят, что «результат проверки с гипотезой согласуется». Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки.
Статистическая гипотеза. Статистический критерий Под статистической гипотезой (или просто гипотезой) понимают всякое высказывание (предположение) о генеральной совокупности, проверяемое по выборке. Статистические гипотезы делятся на гипотезы о параметрах распределения известного вида (это так называемые параметрические гипотезы) и гипотезы о виде неизвестного распределения {непараметрические гипотезы). Одну из гипотез выделяют в качестве основной (или нулевой) и обозначают Но, а другую, являющуюся логическим отрицанием Но, т. е. противоположную Но — в качестве конкурирующей (или альтернативной) гипотезы и обозначают Н1. Гипотезу, однозначно фиксирующую распределение наблюдений, называют простой (в ней идет речь об одном значении параметра), в противном случае — сложной. Имея две гипотезы Но и Н1 надо на основе выборки Х1,... ,Хn принять либо основную гипотезу Но, либо конкурирующую Н1. Правило, по которому принимается решение принять или отклонить гипотезу Но (соответственно, отклонить или принять Н1), называется статистическим критерием (или просто критерием) проверки гипотезы Но. Проверку гипотез осуществляют на основании результатов выборки Х1,... ,Хn из которых формируют функцию выборки Тn = Tn(Х1,... ,Хn), называемой статистикой критерия. Основной принцип проверки гипотез состоит в следующем. Множество возможных значений статистики критерия Тn разбивается на два непересекающихся подмножества: критическую область S т.е. область отклонения гипотезы Но и область Š принятия этой гипотезы. Если фактически наблюдаемое значение статистики критерия (т. е. значение критерия, вычисленное по выборке: Тнабл = Т(Х1,... ,Хn) попадает в критическую область S, то основная гипотеза Но отклоняется и принимается альтернативная гипотеза Н1; если же Тнабл попадает в Š, то принимается Но, а Н1 отклоняется. При проверке гипотезы может быть принято неправильное решение, т. е. могут быть допущены ошибки двух родов; Ошибка первого рода состоит в том, что отвергается нулевая гипотеза Но, когда на самом деле она верна. Ошибка второго рода состоит в том, что отвергается альтернативная гипотеза Н1, когда она на самом деле верна. Рассматриваемые случаи наглядно иллюстрирует следующая таблица.
Вероятность ошибки 1-го рода (обозначается через α) называется в уровнем значимости критерия. Очевидно, α= р(Н1/Н0). Чем меньше α, тем меньше вероятность отклонить верную гипотезу. Допустимую ошибку 1-го рода обычно задают заранее. В одних случаях считается возможным пренебречь событиями, вероятность которых меньше 0,05 (α= 0,05 означает, что в среднем в 5 случаях из 100 испытаний верная гипотеза будет, отвергнута), в других случаях, когда речь идет, например, о разрушении сооружений, гибели судна и т. п., нельзя пренебречь обстоятельствами, которые могут появиться с вероятностью, равной 0,001. Обычно для α используются стандартные значения: α =0,05 ; α= 0,01; 0,005; 0,001. Вероятность ошибки 2-го рода обозначается через β, т.е. β=р(Н0/Н1). Величину 1 — β, т.е. вероятность недопущения ошибки 2-го (отвергнуть неверную гипотезу Н0, принять верную Н1), называют мощностью критерия. Очевидно, 1 — β = р(Н1/Н1) =р((.х1, х2,..., хn) ЄS/Н1). Чем больше мощность критерия, тем вероятность ошибки 2-го рода, меньше, что, конечно, желательно (как и уменьшение α). Последствия ошибок 1-го, 2-го рода могут быть совершенно различными: в одних случаях надо минимизировать α, в другом — β. Так, применительно к радиолокации говорят, что α — вероятное пропуска сигнала, β— вероятность ложной тревоги; применительно к производству, к торговле можно сказать, что α — риск поставщика (т.е. забраковка по выборке всей партии изделий, удовлетворяют стандарту), β — риск потребителя (т. е. прием по выборке всей партии изделий, не удовлетворяющей стандарту); применительно к судебной системе, ошибка 1-го рода приводит к оправданию виновного, ошибка 2-го рода — осуждению невиновного. Отметим, что одновременное уменьшение ошибок 1-го и 2-го возможно лишь при увеличении объема выборок. Поэтому обычно при заданном уровне значимости α отыскивается критерий с наибольшей мощностью. Методика проверки гипотез сводится к следующему: Располагая выборкой Х1, Х2,…,Хn формируют нулевую гипотезу Н0 и альтернативную Н1. В каждом конкретном случае подбирают статистику критерия Тn = = Т(Х1, Х2,…,Хn), обычно из перечисленных ниже: U—нормальное распределение, χ2 — распределение хи-квадрат (Пирсона), t — распределение Стьюдента, F— распределение Фишера-Снедекора. По статистике критерия Тn и уровню значимости α определяют критическую область S (и Š). Для ее отыскания достаточно найти критическую точку tкр т. е. границу (или квантиль), отделяющую область S от Š. Границы областей определяются, соответственно, из соотношений: Р(Тn > tкр) = α, для правосторонней критической области S (рис); Р(Тn< tкр) = α. Для левосторонней критической области S (рисунок приведен ниже); Р(Тn < tлкр) = Р(Тn > tлкр)=α/2, для двусторонней критической области S (следующий рисунок). Для каждого критерия имеются соответствующие таблицы, по которым и находят критическую точку, удовлетворяющую приведенным выше соотношениям. Для полученной реализации выборки х = (х1, х2, …, хn) подсчитывают значение критерия, т. е. Тнабл = Т(х1, х2, …, хn) = t. Если t Є S (например, t> tкр для правосторонней области S), то нулевую гипотезу Hо отвергают; если же t ЄŠ (t< tкр), то нет оснований, чтобы отвергнуть гипотезу Hо.
3.10 Проверка гипотез о законе распределения Во многих случаях закон распределения изучаемой случайно величины неизвестен, но есть основания предположить, что он имеет вполне определенный вид: нормальный, биномиальный или какой-либо другой. Пусть необходимо проверить гипотезу Но о том, что Х подчиняется определенному закону распределения, заданному функцией распределения Fо(х}, т.е. Но: Fх(x) = Fо(x). Под альтернативной гипотезой Н1 будем понимать в данном случае то, что просто не выполнена основная (т.е. Н1: Fх(x)≠F0(x)). Для проверки гипотезы о распределении случайной величины Х проведем выборку, которую оформим в виде статистического ряда:
Где ∑ ni = n – объем выборки. Требуется сделать заключение: согласуются ли результаты наблюдений с высказанным предположением. Для этого используем специально подобранную величину — критерий согласия. Критерием согласия называют статистический критерий проверки гипотезы о предполагаемом законе неизвестного распределения. (Он используется для проверки согласия предполагаемого вида распределения с опытными данными на основании выборки.) Существуют различные критерии согласия: Пирсона, Колмогорова, Фишера, Смирнова и др. Критерий согласия Пирсона — наиболее часто употребляемый критерий для проверки простой гипотезы о законе распределения.
Критерий χ2 Пирсона Для проверки гипотезы Н0 поступают следующим образом. Разбивают всю область значений Х на m интервалов Δ1, Δ2,…, Δm и подсчитывают вероятности рi (i= 1,2,..., m) попадания Х (т.е. наблюдения) в интервал Δi, используя формулу Р{α ≤ Х ≤β} = F0(β) — Fо(α). Тогда теоретическое число значений X, попавших в интервал Δi можно рассчитать по формуле n • рi. Таким образом, имеем статистический ряд распределения Х и теоретический ряд распределения:
Если эмпирические частоты (ni) сильно отличаются от теоретических (n΄i=npi), то проверяемую гипотезу Н0 следует отвергнуть; в противном случае — принять. Каким критерием, характеризующим степень расхождения между эмпирическими и теоретическими частотами, следует воспользоваться? В качестве меры расхождения между ni и npi для i=1,2,...,m К. Пирсон (1857-1936; английский математик, статик, биолог, философ) предложил величину («критерий Пирсона»): χ² = Σ((ni-npi)²)/npi =Σ n²i/npi - n , i=1,..,m Согласно теореме Пирсона, при n→∞ статистика имеет χ2-распределение с k = m-r-l степенями свободы, где m - число групп (интервалов) выборки, r— число параметров предполагаемого распределения. В частности, если предполагаемое распределение нормально, то оценивают два параметра (а и σ), поэтому число степеней свободы k = m - 3. Правило применения критерия χ2 сводится к следующему: 1. По формуле вычисляют χ2набл — выборочное значение статистики критерия. 2. Выбрав уровень значимости α критерия, по таблице χ2 -распределения находим критическую точку (квантиль) χ2α,k. 3. Если χ2набл ≤ χ2α,k, гипотеза Н0 не противоречит опытным данным; если χ2набл >χ2α,k, гипотеза Н0 отвергается. Необходимым условием применения критерия Пирсона является наличие в каждом из интервалов не менее 5 наблюдений (т.е. ni ≥ 5). Если в отдельных интервалах их меньше, то число интервалов надо уменьшить путем объединения (укрупнения) соседних интервалов.
Критерий Колмогорова Критерий Колмогорова для простой гипотезы является наиболее простым критерием проверки гипотезы о виде закона распределения. Он связывает эмпирическую функцию распределения F*n(x) с функцией распределения F(х) непрерывной случайной величины X. Пусть х1, х2,…,хn — конкретная выборка из распределения с неизвестной непрерывной функцией распределения F(х) и F*n(х) - эмпирическая функция распределения. Выдвигается простая гипотеза Но: F(х) = Fо (х) (альтернативная Но: F(х) ≠ Fо (х), х Є R). Сущность критерия Колмогорова состоит в том, что вводят в рассмотрение функцию Dn = max │ F*n(х) - Fо (х) │, -∞ < x < +∞, называемой статистикой Колмогорова, представляющей собой максимальное отклонение эмпирической функции распределения F*n(х) от гипотетической (т. е. соответствующей теоретической) функции распределения Fо (х). Колмогоров доказал, что при n→∞ закон распределения случайной величины √n• Dn независимо от вида распределения Х стремится к закону распределения Колмогорова: P{√n• Dn<x}→K(x) где К(х) — функция распределения Колмогорова, для которой составлена таблица, ее можно использовать для расчетов уже при n≥ 20:
Найдем такое Do, что Р(Dn > Do) = α Рассмотрим уравнение К(х) = 1 - α. С помощью функции Колмогорова найдем корень x0 этого уравнения. Тогда по теореме Колмогорова, P{√n• Dn<x0} = 1 - α, P{√n• Dn>x0} = α , откуда Do = x0/√n Если Dn < Do, то гипотезу Ho нет оснований отвергать; в противном случае - ее отвергают.
3.11 Задачи 1. Распределение признака Х (случайной величины X) в выборке задано следующей таблицей:
При уровне значимости α= 0,01 проверить гипотезу Но, состоящую в том, что Х имеет равномерное распределение на отрезке [0,1] (вероятности рi, определяются формулами рi = hi (i= 1, 2,..., k) где hi — длина i -го отрезка [xi-1 ; xi] ( Σ hi=1, где i=1,…,k)). 2. Результаты наблюдений над Х (рост мужчины) представлены в виде статистического ряда:
Проверить при уровне значимости α = 0,05 гипотезу Ho о том, что Х подчиняется нормальному закону распределения, используя критерий согласия Пирсона. 3. По данным упражнения 2 проверить гипотезу о нормальном распределении X, используя критерий Колмогорова.
|
| Оглавление| |