Анализ вариционных рядов

Оценки параметров распределений

Результат любого прямого или косвенного измерения есть случайная величина. Предполагая, что средства и методы измерения и обработки данных не вносят систематической погрешности, будем считать объективно существующее истинное значение измеряемого параметра математическим ожиданием этой случайной величины. Точно определить это истинное значение принципиально невозможно. Все, что доступно нам, это, повторив измерения несколько (n) раз, получить выборку из n значений данной случайной величины: х₁, х₂,... х_j,...x_n. (иногда говорят, что это выборка объема n из генеральной совокупности значений случайной величины, понимая под «генеральной совокупностью» бесконечное множество значений, в котором каждое значение встречается с частотой, соответствующей его вероятности). С элементами выборки мы можем производить любые арифметические действия, образуя по определенным правилам новые значения, которые называются «выборочными характеристиками».          

Выборочная характеристика, которая позволяет судить о параметре закона распределения случайной величины, называется оценкой этого параметра.

Отметим, что оценка сама является случайной величиной. Действительно, взяв в качестве оценки математического ожидания (Mx) случайной величины х среднее арифметическое элементов выборки:    

                                                            (1)

и, повторив опыт снова, т. е. опять сделав n измерений той же величины, получим другой набор х₁ , х₂,.. х_j ,...x_n и другое , хотя  истинное значение измеряемого параметра останется тем же.          

К оценкам предъявляются следующие требования:          

- оценка должна быть несмещенной, т. е. математическое ожидание оценки должно равняться оцениваемому параметру;          

- оценка должна быть состоятельной, т. е. с увеличением объема выборки она должна сходиться к оцениваемому параметру по вероятности;          

- оценка должна быть эффективной, т. е. при данном объеме выборки иметь минимальную дисперсию.          

- Общий метод нахождения оценок - метод максимума правдоподобия [5]. Мы не будем его рассматривать, так как практическое значение для нас имеют лишь следующие выборочные характеристики, удовлетворяющие вышеперечисленным требованиям к оценкам:          

- 1) в качестве оценки математического ожидания - среднее арифметическое выборки (см. (1));          

- 2) в качестве оценки дисперсии случайной величины х - значение, определяемое формулой          

- ;                                                     (2)

-

- 3) в качестве оценки дисперсии среднего арифметического - значение, определяемое формулой          

- ;                                                        (3)

-

- 4) в качестве оценок коэффициентов линейных моделей - оценки, полученные методом наименьших квадратов (см. 4 раздел данного пособия);         

- 5) в качестве оценки истинного значения величины х, определяемой в серии из k измерений, каждое из которых выполнено различными методами (приборами), имеющими различные дисперсии, среднее взвешенное значение , определяемое формулой [5]:

-

- .                                                                   (4)   

-

Здесь х_j - результат измерения j-м методом (прибором); это, как правило, среднее арифметическое ряда повторных измерений тем же методом (прибором), S_j² - оценка дисперсии этого результата. Если дисперсия одного результата для каждого метода (прибора) известна достаточно точно, то х_j может быть получено однократно, тогда в (4), (5) вместо оценок дисперсий ставятся значения соответствующих дисперсий;

6) в качестве оценки дисперсии - средневзвешенного значения  - значение, определяемое формулой:

.                                                         (5)

 Доверительные интервалы для оцениваемых параметров,

определение и условия их построения

Получив по данным выборки значение оценки, мы, вообще говоря, еще не можем сделать никакого суждения об оцениваемом параметре. Действительно, пусть среднее из 10 измерений электрического сопротивления образца составляет 10,73 Ом. Каково сопротивление образца? Правильный ответ на этот вопрос должен содержать интервал, в котором искомое сопротивление лежит с указанной вероятностью. Например: «С вероятностью 95% сопротивление лежит в интервале (11±1) Ом». Очевидно, для такого суждения только знания численной величины оценки недостаточно. Указать вероятность попадания в некоторый интервал (или интервал, соответствующий заданной вероятности) можно лишь для случайной величины с известным законом распределения. Причем в нашем случае эта величина должна включать в себя и оцениваемый параметр, и оценку. Это удается сделать для оценок, перечисленных в предыдущем разделе, лишь при соблюдении следующих условий:         

Элементы выборки - независимые случайные величины.         

Они имеют одинаковое распределение.        

Закон распределения - нормальный.          

Математическое ожидание - истинное значение измеряемой величины, дисперсия определяется совокупностью причин, влияющих на случайную погрешность измерения и нестабильность объекта исследования.          

Поскольку практически все, что будет написано ниже в этом пособии, применимо лишь к результатам измерений, удовлетворяющим этим требованиям, в то же время в практике эксперимента они могут быть и нарушены, мы обсудим условия 1-3 в разделе  Условие 4 означает отсутствие систематической погрешности в эксперименте, что экспериментатор должен устанавливать независимыми методами. Здесь же будем считать, что условия выполнены.          

Итак, определим доверительный интервал, как интервал, в котором оцениваемый параметр лежит с заданной вероятностью.          

Для построения доверительных интервалов нам придется познакомиться с новыми законами распределения, их называют «распределения, производные от нормального».    

«Знакомство» включает следующие представления:

- какая именно комбинация нормально распределенных случайных величин распределена по данному закону; 

- сколько параметров у данного закона распределения и какие они;

- каков качественный вид плотности распределения и как он зависит от параметров;

- какая комбинация интересующих нас оценок и оцениваемых величин распределена по данному закону;

- как использовать таблицы данного распределения для решения интересующих нас задач.          

В этом разделе мы «познакомимся», таким образом, с двумя распределениями; в дальнейшем этот список будет дополнен.

 Распределение  c Доверительный  интервал для дисперсии

По закону c2 («хи-квадрат») распределена сумма n квадратов независимых нормально распределенных величин, каждая из которых имеет математическое ожидание, равное 0, и дисперсию, равную 1. Очевидно, у этого закона один параметр n, получивший название «число степеней свободы». Используя элементарные знания теории вероятностей, легко показать, что математическое ожидание Mc2n = n, дисперсия Dc2n= 2n, плотность распределения p(c2n) имеет один максимум, который при n = 1 и n = 2 лежит в точке c2n = 0, а затем с ростом n сдвигается в сторону увеличения c2n. При очень больших n (n > 30) распределение, как следует из центральной предельной теоремы, практически неотличимо от нормального с соответствующими значениями матeматического ожидания и дисперсии. Можно показать [5], что комбинация  

.                                                          (6)

Здесь n - объем выборки; S_x² - оценка дисперсии результата измерения х, определенная по формуле (2); s² – «истинная» дисперсия результата измерения, т. е. оцениваемый параметр, который нам не известен; символ «~» здесь и в дальнейшем использован для сокращения записи вместо слов «распределено по закону».

Рассмотрим на примере, как закон (6) можно использовать для построения доверительного интервала для дисперсии. Допустим, что мы создали новую установку для измерения длины l волны в оптическом спектре. Нас интересует оценка случайной погрешности измерений на этой установке, т. е. какова дисперсия значений длин волн, полученных на нашей установке. Осветим установку источником с паспортизованной длиной волны (например, l₀= 632,8 нм) и выполним 5 измерений. Получим выборку из пяти значений: l₁= 631 нм, l₂ = 639 нм, l₃ = 634 нм, l₄ = 633 нм, l₅= 635 нм. Вычислим, согласно (1) и (2) = 6304 нм, S_l² = 0.128 нм         

Теперь попробуем найти интервал, в котором дисперсия значения измеренной длины волны лежит с вероятностью, например, P=0.9. Если бы нам удалось точно оценить дисперсию, т. е. S_l² равнялось бы s², это означало бы, что c² согласно (6) приняло значение n-1, т.е. своего математического ожидания. Разумеется, это практически невероятный счастливый случай. Нас устроит попадание c² в интервал, простирающийся «влево» и «вправо» от математического ожидания и соответствующий вероятности 0.9. Найти его можно с помощью таблиц c²-распределения (см. таблицу П2 приложения 3). Строки таблицы соответствуют разным значениям числа степеней свободы, столбцы - значениям вероятности того, что случайная c² величина примет значение большее, чем c²_q - число, стоящее в соответствующей клетке таблицы. Выбрав строку с n = 4 (у нас было n = 5 элементов выборки, а n = n-1), находим, что в этом случае c² с вероятностью P= 0.95 больше значения c²_q1=0.71 и с вероятностью P=0.05 больше значения c²_q2= 9. (Таким образом, мы отбросили область очень малых и очень больших c², которые, согласно (6), соответствуют очень «неправильным» оценкам: S_l² << s² и S_l²>>s²).

Получилось, что с вероятностью P= 0.9 

c²_q1£ c²_q £c²_q2

или (см. (6))            

«Перевернув» неравенства и подставив S_l², получаем, что с вероятностью P= 0.9 

0.054 £s² £ 0.721

Практически строить доверительные интервалы для дисперсии приходится либо при оценке точности измерительной методики и аппаратуры (как в приведенном примере), либо, например, при оценке технологического разброса некоторого параметра промышленной продукции. Например, измерив светоотдачу Y большой партии ламп, изготовленных по определенной технологии, мы можем указать не только то, что средняя светоотдача лежит с заданной вероятностью в определенном интервале, но и гарантировать, что дисперсия светоотдачи при использовании этой технологии с заданной вероятностью не выйдет из указанных границ.          

Из вышеприведенного примера видно, что при малом объеме выборки дисперсия оценивается плохо (доверительный интервал весьма широк). Поэтому для построения доверительного интервала для математического ожидания нельзя, например, воспользоваться нормальным законом распределения случайных величин x и  (мы знаем вид закона, но не знаем его параметра - дисперсии), приходится привлечь еще одно производное от нормального распределения.                  

 t-распределение, или распределение Стьюдента.

Доверительный интервал для математического ожидания

По такому закону распределена следующая комбинация случайных величин:

,                                                                (7)

где z - случайная величина, распределенная нормально с математическим ожиданием, равным 0 и дисперсией, равной 1, (это обозначается так: z~N(0,1)), V~c2n, т.е. V - случайная величина, распределенная по закону c2 с n степенями свободы. У t-распределения также один параметр n. Плотность t-распределения симметрична относительно точки t=0, следовательно, Mt=0. По форме распределение напоминает нормальное, но медленнее спадает с ростом | t |. Таблицы t-распределения (см. табл. П3 приложения 3) содержат строки, отвечающие различным n, и столбцы, отвечающие вероятности q того, что | t |> tq (иногда эта вероятность выражается в процентах).

Чтобы использовать закон (7) при построении доверительного интервала, сделаем следующие подстановки:

- в качестве z в (7) подставим ; эта величина, очевидно, распределена требуемым образом, т.к. если x ~ N(Mx, s²), то~ N(Mx, s²/n) [7], поэтому z~N(0,1);

- в качестве V выберем , тогда, учитывая, что , получим

                                      (8)

Для того, чтобы построить интервал, в котором с заданной вероятностью Р лежит истинное значение Мх, находим по таблице П3 в строке n и столбце q=1-Р значение t_q. Согласно (8), с вероятностью Р

,

следовательно, с той же вероятностью Мх лежит в интервале. Используя ранее рассмотренный пример, построим 90-процентный доверительный интервал для измеренного значения длины волны. В таблице П3 в строке n=4 и столбце q=1-0.9=0.1 находим значение t_q =1 Вычислив по (3) = 0.032, получаем, что

с вероятностью P= 0.9. (При записи окончательного результата в виде доверительного интервала принято оставлять в значении полуширины интервала только одну значимую цифру, если она больше 3, в других случаях - 2 цифры. Значение результата округляют так, чтобы последний значимый десятичный разряд был тот же, что и последний значимый разряд интервала).         

В заключение этого раздела подчеркнем еще раз различие оценок (2) и (3).

 - это оценка дисперсии случайной величины x или одного элемента выборки;

 - это оценка дисперсии среднего арифметического n элементов выборки. Первая оценка характеризует разброс результатов одного измерения или технологический разброс параметра одного изделия. Она используется при метрологической аттестации средств и методов измерений, а также при оценке погрешности результата, если сделано всего одно измерение. Ее значение не зависит от объема выборки. Вторая - характеризует погрешность результата измерения, полученного усреднением n отсчетов; с ростом n ее значение уменьшается, доверительный интервал для искомого результата сужается, т. е. точность результата с ростом числа измерений растет

Общий алгоритм статистической проверки гипотез

В своей практической деятельности как в сфере производства, так и в быту человек то и дело выдвигает и экспериментально проверяет различные гипотезы, при этом сохраняется следующий общий порядок: формулируется гипотеза («Наверное, моего друга еще нет дома»), планируется эксперимент, причем заранее известно, какой результат приведет к принятию гипотезы («Позвоню ему по телефону, если никто не подойдет, то его нет дома»), затем эксперимент выполняется, и гипотеза принимается или отвергается. При этом практически всегда имеется некоторая вероятность ошибочного решения по результатам эксперимента (друг прослушивал новые магнитофонные записи и не слышал звонка, хотя и был дома, или Вы ошибочно набрали не его номер). Все эти черты присущи и статистической проверке гипотез, только здесь порядок действий строго формализован, что, с одной стороны, имеет преимущества, в частности, мы всегда знаем (т.к. сами устанавливаем) вероятность возможной ошибки (отвергнуть верную гипотезу), с другой стороны, есть и недостаток: далеко не всякая гипотеза может быть таким образом проверена. Мы рассмотрим здесь только способы проверки простых гипотез. В случае, если потребуется более сложный вариант - проверка гипотезы против альтернативы, читатель, усвоивший общие принципы, легко разберется в литературе [4], [5].

В таблице 1 перечислены этапы проверки гипотезы, они сразу же иллюстрируются примером. Чтобы дальнейшее было понятно, сначала рассмотрим конкретный пример. 

Предположим, что для игрового автомата изготовлен генератор случайных чисел по следующему техническому заданию (ТЗ): на определенном этапе игры генератор должен выработать независимо от состояния всей системы и своих предыдущих состояний либо 0 с вероятностью 0.20, либо 1 с вероятностью 0.80 (предположим для простоты, что другие состояния генератора невозможны). Надо организовать проверку генератора на соответствие ТЗ как статистическую проверку гипотезы.  

                         Таблица 1

Этапы проверки гипотезы

Общая формулировка этапа	Пример
1. Формулируется проверяемая гипотеза Н0	Н0: Генератор соответствует ТЗ.
Выбирается критерий проверки – X Критерий – это величина, закон распреде- ления которой при условии справедливости проверяемой гипотезы нам известен	Критерий (см. пояснения к таблице) , n – число запусков игры при испытаниях генератора, р=0.2, q=0.8, m - число появившихся нулей.
Выбирается уровень значимости a и критическая область Q , так, чтобы условная вероятность попадания критерия в Q при условии справедливости гипотезы равнялась a, т.е. Р{XÎQ/H0)= a	Выберем a=0.0 Это - вероятность забраковать хороший генератор. По таблицам нормального распределения (табл. П1) находим Р{|X|>1.96}=0.05, следовательно, критическая область Q: |X|>1.96.
Выполняем эксперимент и находим экспериментальное значение критерия Хэ	Выберем n=100. При 100 запусках игры 0 появляется 26 раз, т.е. m=26
Если критерий не попадает в критическую область, гипотеза принимается, если XÎQ - то отвергается.	У нас 1.5<1.96. Гипотеза принимается.
Результат оформляется так: Гипотеза Н0 проверена критерию Х на уровне значимости a и принята (или отвергнута).	Гипотеза о том, что генератор соответствует ТЗ, проверена по критерию  на уровне значимости 5% и принята.

Сделаем к этой схеме некоторые пояснения. Гипотеза - это всегда утверждение. Частая ошибка студентов состоит в попытках проверить гипотезу типа: «Соответствует ли генератор ТЗ?» - это вопрос, а не утверждение. Надо выбрать для проверки одно из двух утверждений: «Соответствует ТЗ» или «Не соответствует ТЗ». Выбор зависит не от эмоционального настроя (например, заказчик, может быть, очень хочет доказать, что работа не соответствует ТЗ). Мы уже упоминали о том, что не всякую гипотезу можно проверить: если генератор соответствует ТЗ, то событие: «появление 0» имеет известную постоянную вероятность, и результат каждого испытания не зависит от предыдущих. В этом случае число m нулей в серии из n испытаний подчиняется известному закону Бернулли, а при большом n величина Х, приведенная выше, согласно теореме Муавра–Лапласа [7, гл. 8] распределена нормально со средним 0 и дисперсией 1, т.е. Х имеет известное распределение и может быть критерием проверки гипотезы. Если же сформулировать противоположную гипотезу, то совершенно неизвестно, как и в какую сторону мы отклонились от ТЗ, и критерия построить нельзя. Выбор a не диктуется правилами статистики, а целиком определяется обстоятельствами эксперимента. Чем больше в нашем примере a, тем строже приемка работы, т.е. тем больше вероятность того, что придется переделывать вполне хороший генератор. Зато, уменьшая a, мы увеличиваем опасность того, что признаем  годным бракованное изделие. В данном случае a следует согласовать с заказчиком, но обязательно до начала испытаний. В случаях, не имеющих принципиального значения и не сулящих большого ущерба при отклонении верной гипотезы, принято выбирать a = 0.05 или a = 0.1, что облегчает использование многих таблиц.        

Выбор критической области должен производиться с учетом смысла гипотезы; надо понимать, что если Х попадает в критическую область, то гипотеза будет отвергнута. В нашем примере очевидно, что ТЗ нарушено и в том случае, если нулей при 100 испытаниях будет много меньше, чем 20, и если много больше, поэтому критическая область - двухсторонняя. Ниже мы увидим, что так бывает не всегда.         

Переходим теперь к рассмотрению конкретных типов гипотез, которые чаще других встречаются в практике работы физика-экспериментатора и инженера-исследователя. Алгоритмы проверки некоторых «менее популярных» гипотез вынесены в приложения.

Проверка гипотезы о равенстве

математичеcкого ожидания определенному значению

Пусть имеется выборка n значений нормально распределенной случайной величины: х1, х2,..., xn . Требуется проверить  гипотезу о том, что математическое ожидание х равно определенному значению (обозначим его a)         

Итак гипотеза Н0: Мх =a         

В качестве критерия выбираем случайную величину    

,                                                           (1)

закон распределения которой нам известен (см. предыдущий раздел).

Очевидно, гипотезу следует отвергнуть и в том случае, если x<<а, и в том случае, если x>>а, поэтому критическая область будет двусторонней, т.е. Q: | t | > tq, так, чтобы

Р (| t |>tq/H0) =a.

По выбранному a и таблице П3 приложения 3  находим t_q при n = n-1; вычисляем , , и t_э по данным эксперимента и принимаем гипотезу, если | t_э | <t_q, в противном случае - отвергаем.         

Алгоритм может быть использован при проверке соответствия теории и эксперимента: в этом случае a - предсказанное теорией значение некоторой физической величины, выборка х₁, х₂,..., x_n - результаты экспериментального определения той же величины.         

Этим же приемом пользуемся, чтобы показать, что средство или метод измерения не дают систематической погрешности. В этом случае a - действительное значение некоторой физической величины (свойство стандартного образца или результат измерения заведомо точным прибором, или мировая постоянная), выборка х₁, х₂,..., x_n - ряд результатов, полученных аттестуемым методом (средством) измерения. Фактически такой пример уже рассмотрен в разделах 3,          

Утверждения: «гипотеза о том, что Мх для данной выборки равно a, проверена на уровне значимости a по t-критерию и принята» и «значение попадает для данной выборки в доверительный интервал, соответствующий вероятности Р = 1- a» - равносильны, и исследователь может выбирать ту или иную схему рассуждений по своему усмотрению.

Аналогично при попадании предполагаемого значения дисперсии  в доверительный интервал, определенный в разделе 3, может проверяться гипотеза о равенстве дисперсии этому значению.

Рассмотренные ниже гипотезы такого простого эквивалента уже не имеют.

 Проверка гипотезы о равенстве двух дисперсий. F-распределение

Пусть есть две независимые выборки значений нормально распределенной величины x: х₁, х₂,..., x_n - всего n элементов, и нормально распределенной величины y: y₁, y₂,..., y_m - m элементов.        

Гипотеза Н₀ состоит в том, что дисперсии величин Х и У равны, т.е.

Н₀:     Dx = Dy =    s²  .                                              (2)

Эта гипотеза проверяется по критерию, с которым нам еще предстоит познакомиться. Случайная величина     

 ,                                                         (3)

где V₁~, V₂~ распределена по закону, получившему название «распределение Фишера», или «F-распределение».         

У этого распределения два параметра k₁ и k₂, называемые числом степеней свободы для числителя и знаменателя. Очевидно, F принимает только положительные значения. Кроме того, F-распределение обладает одним очевидным свойством: если известна вероятность Р того, что F > F_q (некоторого фиксированного числа), то, очевидно с такой же вероятностью 1/F<1/F_q, следовательно, с вероятностью a = 2Р F выходит за пределы интервала (1/F_q, F_q). Поэтому таблицы F-распределения содержат только границы F_q>1 при заданном a и при определенных k₁, k Пользователь же должен помнить, что если экспериментальное значение критерия F окажется меньше 1, то его надо «перевернуть» и сравнить с табличным F_q обратную величину. В данном пособии приводятся таблица (П4 приложения 3) только для a=0.0 При необходимости введения других значений уровня значимости надо использовать более подробные статистические таблицы [5]; в некоторых программных пакетах, например, в Mathcad, встроено вычисление F_q при любых a.

Подставив в F (3) в качестве V₁ комбинацию (n-1)×S_x²/Dx, которая, как было ранее показано, распределена по закону , а в качестве V₂ - (m-1)×S_y/Dy, которая распределена по закону , получим, что в случае равенства дисперсий Dx и Dу ( 2) отношение

                                                             (4)

подчиняется распределению Фишера, и, следовательно, может служить критерием проверки гипотезы о равенстве дисперсий (2).           

Пример: Предложена новая технология изготовления ламп; утверждается, что она обеспечивает меньший технологический разброс светоотдачи, чем старая. Для проверки изготовлено n = 9 ламп по старой технологии, они имеют значения светоотдачи (лм/Вт):  

x: 62, 73, 80, 79, 63, 77, 81, 75

и m = 10 ламп по новой технологии, их светоотдача:

y: 75, 78, 77, 68, 73, 79, 72, 71, 86.