Статистическая проверка статистических гипотез.

Понятия статистической гипотезы (простой и сложной), нулевой и конкурирующей гипотезы, ошибок первого и второго рода,  уровня значимости, статистического критерия, критической области, области принятия гипотезы.

Определение Статистической гипотезой называют гипотезу о виде неизвестного распределения генеральной совокупности или о параметрах известных распределений.

Определение Нулевой (основной) называют выдвинутую гипотезу Н0. Конкурирующей (альтернативной)  называют гипотезу Н1, которая противоречит нулевой.

Пример. Пусть Н0 заключается в том, что математическое ожидание генеральной совокупности а = 3. Тогда возможные варианты Н1: а) а ≠ 3;  б) а > 3; в) а < 3.

Определение. Простой называют гипотезу, содержащую только одно предположение, сложной – гипотезу, состоящую из конечного или бесконечного числа простых гипотез.

Пример. Для показательного распределения гипотеза Н0: λ = 2 – простая, Н0: λ > 2 – сложная, состоящая из бесконечного числа простых ( вида λ = с, где с – любое число, большее 2).

В результате проверки правильности выдвинутой нулевой гипотезы ( такая проверка называется статистической, так как производится с применением методов математичес-кой статистики) возможны ошибки двух видов: ошибка первого рода, состоящая в том, что будет отвергнута правильная нулевая гипотеза, и ошибка второго рода, заключаю-щаяся в том, что будет принята неверная гипотеза.

Замечание. Какая из ошибок является на практике более опасной, зависит от конкретной задачи. Например, если проверяется правильность выбора метода лечения больного, то ошибка первого рода означает отказ от правильной методики, что может замедлить лече-ние, а ошибка второго рода (применение неправильной методики) чревата ухудшением состояния больного и является более опасной.

Определение Вероятность ошибки первого рода называется уровнем значимости α.

   Основной прием проверки статистических гипотез заключается в том, что по имеющейся выборке вычисляется значение некоторой случайной величины, имеющей известный закон распределения.

Определение Статистическим критерием называется случайная величина К с известным законом распределения, служащая для проверки нулевой гипотезы.

Определение Критической областью называют область значений критерия, при которых нулевую гипотезу отвергают, областью принятия гипотезы – область значений критерия, при которых гипотезу принимают.

Итак, процесс проверки гипотезы состоит из следующих этапов:

выбирается статистический критерий К;

вычисляется его наблюдаемое значение Кнабл по имеющейся выборке;

поскольку закон распределения К известен, определяется (по известному уровню значимости α) критическое значение kкр, разделяющее критическую область и область принятия гипотезы (например, если р(К > kкр) = α, то справа от kкр распо-лагается критическая область, а слева – область принятия гипотезы);

если вычисленное значение Кнабл попадает в область принятия гипотезы, то нулевая гипотеза принимается, если в критическую область – нулевая гипотеза отвергается.

Различают разные виды критических областей:

– правостороннюю критическую область, определяемую неравенством K > k_кр ( k_кр > 0);

– левостороннюю критическую область, определяемую неравенством K < k_кр ( k_кр < 0);

– двустороннюю критическую область, определяемую неравенствами K < k₁, K > k₂        (k₂ > k₁).

Определение Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что верна конкурирующая гипотеза.

Если обозначить вероятность ошибки второго рода (принятия неправильной нулевой гипотезы) β, то мощность критерия равна 1 – β. Следовательно, чем больше мощность критерия, тем меньше вероятность совершить ошибку второго рода. Поэтому после выбора уровня значимости следует строить критическую область так, чтобы мощность критерия была максимальной.

      Критерий для проверки гипотезы о вероятности события.

Пусть проведено п независимых испытаний (п – достаточно большое число), в каждом из которых некоторое событие А появляется с одной и той же, но неизвестной вероятностью р, и найдена относительная частота  появлений А в этой серии испытаний. Проверим при заданном уровне значимости α нулевую гипотезу Н0, состоящую в том, что вероятность р равна некоторому значению р0.

   Примем в качестве статистического критерия случайную величину

                         ,                                                                       

имеющую нормальное распределение с параметрами M(U) = 0, σ(U) = 1 (то есть нормиро-ванную). Здесь q₀ = 1 – p₀. Вывод о нормальном распределении критерия следует из теоремы Лапласа (при достаточно большом п относительную частоту можно приближенно считать нормально распределенной с математическим ожиданием р и средним квадрати-ческим отклонением ).

Критическая область строится в зависимости от вида конкурирующей гипотезы.

1)                Если Н₀: р = р₀, а Н₁: р ≠ р₀, то критическую область нужно построить так, чтобы вероятность попадания критерия в эту область равнялась заданному уровню значимости α. При этом наибольшая мощность критерия достигается тогда, когда критическая область состоит из двух интервалов, вероятность попадания в каждый из которых равна . Поскольку U симметрична относительно оси Оу, вероятность ее попадания в интервалы (-∞; 0) и (0; +∞) равна 0,5, следовательно, критическая область тоже должна быть симметрична относительно Оу.  Поэтому  и_кр определяется по таблице значений функции Лапласа из условия , а критическая область имеет вид . 

Замечание. Предполагается, что используется таблица значений функции Лапласа, заданной в виде , где нижний предел интегрирования равен 0, а не -∞. Функция Лапласа, заданная таким образом, является нечетной, а ее значения на 0,5 меньше, чем значения стандартной функции Ф(х).

 

Далее нужно вычислить наблюдаемое значение критерия:

                         .                                                     

Если U_набл < u_кр, то нулевая гипотеза принимается.

Если U_набл > u_кр, то нулевая гипотеза отвергается.

2) Если конкурирующая гипотеза Н₁: р > p₀, то критическая область определяется неравенством U > u_кр, то есть является правосторонней, причем  р(U > u_кр) = α. Тогда . Следовательно, и_кр можно найти по таблице значений функции Лапласа из условия, что . Вычислим наблюдаемое значение критерия по формуле.

Если U_набл < u_кр, то нулевая гипотеза принимается.

Если U_набл > u_кр, то нулевая гипотеза отвергается.

3) Для конкурирующей гипотезы Н₁: р < p₀ критическая область является левосторонней и задается неравенством U <- u_кр, где и_кр вычисляется так же, как в предыдущем случае.

Если U_набл > – u_кр, то нулевая гипотеза принимается.

Если U_набл < – u_кр, то нулевая гипотеза отвергается.

Пример. Пусть проведено 50 независимых испытаний, и относительная частота появления события А оказалась равной 0,12. Проверим при уровне значимости α = 0,01 нулевую гипотезу Н₀: р = 0,1 при конкурирующей гипотезе Н₁: р > 0,1. Найдем  Критическая область является правосторонней, а и_кр нахо-дим из равенства Ф(и_кр) = Из таблицы значений функции Лапласа определяем и_кр = 2,33. Итак, U_набл < u_кр, и гипотеза о том, что р = 0,1, принимается.

                 Критерий для проверки гипотезы о математическом ожидании.

   Пусть генеральная совокупность Х имеет нормальное распределение, и требуется проверить предположение о том, что ее математическое ожидание равно некоторому числу а0. Рассмотрим две возможности.

1) Известна дисперсия σ2 генеральной совокупности. Тогда по выборке объема п найдем выборочное среднее  и проверим нулевую гипотезу Н0: М(Х) = а0.

Учитывая, что выборочное среднее  является несмещенной оценкой М(Х), то есть М() = М(Х), можно записать нулевую гипотезу так: М() = а₀. Для ее проверки выберем критерий

                                   .                                    

Это случайная величина, имеющая нормальное распределение, причем, если нулевая гипотеза справедлива, то М(U) = 0, σ(U) = 1.

Выберем критическую область в зависимости от вида конкурирующей гипотезы:

– если Н₁: М() ≠ а₀, то и_кр: , критическая область двусторонняя, , и, если U_набл < u_кр, то нулевая гипотеза принимается; если U_набл > u_кр, то нулевая гипотеза отвергается.

– если Н₁: М() > а₀, то и_кр: , критическая область правосторонняя, и, если U_набл < u_кр, то нулевая гипотеза принимается; если U_набл > u_кр, то нулевая гипотеза отвергается.

– если Н₁: М() < а₀, то и_кр: , критическая область левосторонняя, и, если U_набл > – u_кр, то нулевая гипотеза принимается; если U_набл < – u_кр, то нулевая гипотеза отвергается.

2) Дисперсия генеральной совокупности неизвестна.

 

В этом случае выберем в качестве критерия случайную величину

                                             ,                                           

где S – исправленное среднее квадратическое отклонение. Такая случайная величина имеет распределение Стьюдента с k = n – 1 степенями свободы. Рассмотрим те же, что и в предыдущем случае, конкурирующие гипотезы и соответствующие им критические области. Предварительно вычислим наблюдаемое значение критерия:

                                            .                                        

– если Н₁: М() ≠ а₀, то критическая точка t_{двуст.кр.} находится по таблице критических точек распределения Стьюдента по известным α и k = n – 1.

Если T_набл < t_{двуст.кр.}, то нулевая гипотеза принимается.

Если T_набл > t_{двуст.кр.}, то нулевая гипотеза отвергается.

– если Н₁: М() > а₀, то по соответствующей таблице находят t_{правост.кр.}(α, k) – критичес-кую точку правосторонней критической области. Нулевая гипотеза принимается, если

 T_набл  < t_{правост.кр.}.

– при конкурирующей гипотезе Н₁: М() < а₀ критическая область является левосторон-ней, и нулевая гипотеза принимается при условии T_набл  > – t_{правост.кр.}. Если                      T_набл  < –  t_{правост.кр.}., нулевую гипотезу отвергают.

         Критерий для проверки гипотезы о сравнении двух дисперсий.

Пусть имеются две нормально распределенные генеральные совокупности Х и Y. Из них извлечены независимые выборки объемов соответственно п1 и п2, по которым вычислены исправленные выборочные дисперсии  и . Требуется при заданном уровне значимос-ти  α проверить нулевую гипотезу Н0: D(X) = D(Y) о равенстве дисперсий рассматривае-мых генеральных совокупностей. Учитывая несмещенность исправленных выборочных дисперсий, можно записать нулевую гипотезу так:

                               Н₀: М () = М ().                                                  

Замечание. Конечно, исправленные дисперсии, вычисленные по выборкам, обычно оказываются различными. При проверке гипотезы выясняется, является ли это различие незначимым и обусловленным случайными причинами (в случае принятия нулевой гипотезы) или оно является следствием того, что сами генеральные дисперсии различны.

   В качестве критерия примем случайную величину

                                         –                                                           

– отношение большей выборочной дисперсии к меньшей. Она имеет распределение Фишера-Снедекора со степенями свободы k₁ = n₁ – 1 и k₂ = n₂ – 1, где п₁ – объем выборки, по которой вычислена большая исправленная дисперсия, а п₂ – объем второй выборки. Рассмотрим два вида конкурирующих гипотез:

– пусть Н₁: D(X) > D(Y). Наблюдаемым значением критерия будет отношение большей из исправленных дисперсий к меньшей: . По таблице критических точек распреде-ления Фишера-Снедекора можно найти критическую точку F_набл(α; k₁; k₂). При

F_набл < F_кр нулевая гипотеза принимается, при F_набл > F_кр отвергается.

– если Н₁: D(X) ≠ D(Y), то критическая область является двусторонней и определяется неравенствами F < F₁, F > F₂, где р(F < F₁) = р( F > F₂) = α/2. При этом достаточно найти правую критическую точку F₂ = F_кр ( , k₁, k₂). Тогда при F_набл < F_кр нулевая гипотеза принимается, при F_набл > F_кр отвергается.

Обычно статистические критерии для проверки таких гипотез называются критериями согласия.

                                                  Критерий Пирсона.

 Достоинством критерия Пирсона является его универсальность: с его помощью можно проверять гипотезы о различных законах распределения.

          1. Проверка гипотезы о нормальном распределении.

Пусть получена выборка достаточно большого объема п с большим количеством различ-ных значений вариант. Доя удобства ее обработки разделим интервал от наименьшего до наибольшего из значений вариант на s равных частей и будем считать, что значения вари

ант, попавших в каждый интервал, приближенно равны числу, задающему середину интервала. Подсчитав число вариант, попавших в каждый интервал, составим так называе-мую сгруппированную выборку:

               варианты………..х1   х2   …   хs

               частоты………….п1   п2   …   пs ,

где хi – значения середин интервалов, а пi – число вариант, попавших в i-й интервал (эмпи-рические частоты).

По полученным данным можно вычислить выборочное среднее  и выборочное среднее квадратическое отклонение σ_В. Проверим предположение, что генеральная совокупность распределена по нормальному закону с параметрами M(X) = , D(X) = . Тогда можно найти количество чисел из выборки объема п, которое должно оказаться в каждом интер-вале при этом предположении (то есть теоретические частоты). Для этого по таблице значений функции Лапласа найдем вероятность попадания в i-й интервал:

                           ,

где а_i и b_i – границы i-го интервала. Умножив полученные вероятности на объем выборки п, найдем теоретические частоты: п_i =n·p_i. Наша цель – сравнить эмпирические и теоретические частоты, которые, конечно, отличаются друг от друга, и выяснить, являются ли эти различия несущественными, не опровергающими гипотезу о нормальном распределении исследуемой случайной величины, или они настолько велики, что противоречат этой гипотезе. Для этого используется критерий в виде случайной величины

                                 .                                                                   

Смысл ее очевиден: суммируются части, которые квадраты отклонений эмпирических частот от теоретических составляют от соответствующих теоретических частот. Можно доказать, что вне зависимости от реального закона распределения генеральной совокупно-сти закон распределения случайной величины (20.1) при  стремится к закону распределения (см. лекцию 12) с числом степеней свободы k = s – 1 – r, где r – число параметров предполагаемого распределения, оцененных по данным выборки. Нормальное распределение характеризуется двумя параметрами, поэтому k = s – 3. Для выбранного критерия строится правосторонняя критическая область, определяемая условием

                                                                                     

где α – уровень значимости. Следовательно, критическая область задается неравенством  а область принятия гипотезы – .

   Итак, для проверки нулевой гипотезы Н₀: генеральная совокупность распределена нормально – нужно вычислить по выборке наблюдаемое значение критерия:

                                           ,                                       

а по таблице критических точек распределения χ² найти критическую точку , используя известные значения α и k = s – 3. Если  – нулевую гипотезу принимают, при  ее отвергают.

                 2. Проверка гипотезы о равномерном распределении.

При использовании критерия Пирсона для проверки гипотезы о равномерном распределе-нии генеральной совокупности с предполагаемой плотностью вероятности

                                          

необходимо, вычислив по имеющейся выборке значение , оценить параметры а и b по формулам:

                                       ,                       

где а* и b* – оценки а и b. Действительно, для равномерного распределения М(Х) = , , откуда можно получить систему для определения а* и b*: , решением которой являются выражения.

Затем, предполагая, что , можно найти теоретические частоты по формулам

          

          

          

Здесь s – число интервалов, на которые разбита выборка.

Наблюдаемое значение критерия Пирсона вычисляется по формуле, а критическое – по таблице с учетом того, что число степеней свободы k = s – 3. После этого границы критической области определяются так же, как и для проверки гипотезы о нормальном распределении.

            Проверка гипотезы о показательном распределении.

В этом случае, разбив имеющуюся выборку на равные по длине интервалы, рассмотрим последовательность вариант , равноотстоящих друг от друга (считаем, что все варианты, попавшие в i – й интервал, принимают значение, совпадающее с его серединой), и соответствующих им частот ni (число вариант выборки, попавших в i – й интервал). Вычислим по этим данным  и примем в качестве оценки параметра λ величину . Тогда теоретические частоты вычисляются по формуле

                            

Затем сравниваются наблюдаемое и критическое значение критерия Пирсона с учетом того, что число степеней свободы k = s – 2.

 

                                                      Критерий Колмогорова

Этот критерий применяется для проверки простой гипотезы Н₀ о том, что независимые одинаково распределенные случайные величины Х₁, Х₂, …, Х_п имеют заданную непрерыв-ную функцию распределения F(x).

Найдем функцию эмпирического распределения F_n(x) и будем искать границы двусторон-ней критической области, определяемой условием

                                 .                                          

А.Н.Колмогоров доказал, что в случае справедливости гипотезы Н0 распределение статистики Dn не зависит от функции F(x), и при  

                                      

где                                     –                                          

– критерий Колмогорова, значения которого можно найти в соответствующих таблицах. Критическое значение критерия λп(α) вычисляется по заданному уровню значимости α как корень уравнения  .

Можно показать, что приближенное значение вычисляется по формуле

                                 ,

где z – корень уравнения

На практике для вычисления значения статистики D_n используется то, что

, где

а  – вариационный ряд, построенный по выборке Х₁, Х₂, …, Х_п.

Можно дать следующее геометрическое истолкование критерия Колмогорова: если изобразить на плоскости Оху графики функций F_n(x), F_n(x) ±λ_n(α), то гипотеза Н₀ верна, если график функции F(x) не выходит за пределы области, лежащей между графиками функций F_n(x) -λ_n(α) и F_n(x) +λ_n(α).

 

х

  Приближенный метод проверки нормальности распределения,                             связанный с оценками коэффициентов асимметрии и эксцесса.

Определим по аналогии с соответствующими понятиями для теоретического распределения асимметрию и эксцесс эмпирического распределения.

Определение.Асимметрия эмпирического распределения определяется равенством

                           ,                                                                                

где т₃ – центральный эмпирический момент третьего порядка.

Эксцесс эмпирического распределения определяется равенством

                             ,                                                                     

где т₄ – центральный эмпирический момент четвертого порядка.

Как известно, для нормально распределенной случайной величины асимметрия и эксцесс равны 0. Поэтому, если соответствующие эмпирические величины достаточно малы, можно предположить, что генеральная совокупность распределена по нормальному закону.

Рассмотрим выборку объема п, извлеченную из нормально распределенной двумерной генеральной совокупности (X, Y). Вычислим выборочный коэффициент корреляции rB. Пусть он оказался не равным нулю. Это еще не означает, что и коэффициент корреляции генеральной совокупности не равен нулю. Поэтому при заданном уровне значимости α возникает необходимость проверки нулевой гипотезы Н0: rг = 0 о равенстве нулю гене-рального коэффициента корреляции при конкурирующей гипотезе Н1: rг ≠ 0. Таким образом, при принятии нулевой гипотезы Х и Y некоррелированы, то есть не связаны линейной зависимостью, а при отклонении Н0 они коррелированы.

В качестве критерия примем случайную величину

                                  ,                                                         

которая при справедливости нулевой гипотезы имеет распределение Стьюдента (см. лекцию 12) с k = n – 2 степенями свободы. Из вида конкурирующей гипотезы следует, что критическая область двусторонняя с границами ± t_кр, где значение t_кр(α, k) находится из таблиц для двусторонней критической области.

Вычислив наблюдаемое значение критерия

                              

и сравнив его с t_кр, делаем вывод:

– если T_набл < t_кр – нулевая гипотеза принимается (корреляции нет);

– если T_набл > t_кр – нулевая гипотеза отвергается (корреляция есть).

                                             Ранговая корреляция.

Пусть объекты генеральной совокупности обладают двумя качественными признаками (то есть признаками, которые невозможно измерить точно, но которые позволяют сравнивать объекты между собой и располагать их в порядке убывания или возрастания качества). Договоримся для определенности располагать объекты в порядке ухудшения качества.

Пусть выборка объема п содержит независимые объекты, обладающие двумя качествен-ными признаками: А и В. Требуется выяснить степень их связи между собой, то есть установить наличие или отсутствие ранговой корреляции.

Расположим объекты выборки в порядке ухудшения качества по признаку А, предполагая, что все они имеют различное качество по обоим признакам. Назовем место, занимаемое в этом ряду некоторым объектом, его рангом х_i: х₁ = 1, х₂ = 2,…, х_п = п.

Теперь расположим объекты в порядке ухудшения качества по признаку В, присвоив им ранги у_i , где номер i равен порядковому номеру объекта по признаку А, а само значение ранга равно порядковому номеру объекта по признаку В. Таким образом, получены две последовательности рангов:

                            по признаку А … х₁, х₂,…, х_п

                            по признаку В … у₁, у₂,…, у_п .

При этом, если, например, у₃ = 6, то это означает, что данный объект занимает в ряду по признаку А третье место, а в ряду по признаку В – шестое.

Сравним полученные последовательности рангов.

Если x_i = y_i при всех значениях i, то ухудшение качества по признаку А влечет за собой ухудшение качества по признаку В, то есть имеется «полная ранговая зависимость».

Если ранги противоположны, то есть х1 = 1, у1 = п; х2 = 2, у2 = п – 1;…, хп = п, уп = 1, то признаки тоже связаны: ухудшение качества по одному из них приводит к улучшению качества по другому («противоположная зависимость»).

На практике чаще всего встречается промежуточный случай, когда ряд уi не монотонен. Для оценки связи между признаками будем считать ранги х1, х2,…, хп возможными значениями случайной величины Х, а у1, у2,…, уп – возможными значениями случайной величины Y. Теперь можно исследовать связь между Х и Y, вычислив для них выборочный коэффициент корреляции

                                     ,                                    

где (условные варианты). Поскольку каждому рангу x_i соответствует только одно значение y_i, то частота любой пары условных вариант с одинаковыми индексами равна 1, а с разными индексами – нулю. Кроме того, из выбора условных вариант следует, что , поэтому формула приобретает более простой вид:

                                              .                                        

Итак, требуется найти и .

Можно показать, что . Учитывая, что , можно выразить через разности рангов . После преобразований получим: , , откуда . Подставив эти результаты в (3), получим выборочный коэффициент ранговой корреляции Спирмена:

                                                  .                                          

 

                      Свойства выборочного коэффициента корреляции Спирмена.

1.     Если между А и В имеется «полная прямая зависимость», то есть ранги совпадают при всех i, то ρ_В = 1. Действительно, при этом d_i = 0, и из формулы (4) следует справедливость свойства 1.

2.     Если между А и В имеется «противоположная зависимость», то ρ_В = – 1. В этом случае, преобразуя d_i = (2i – 1) – n, найдем, что , тогда из (21.4)

3.     В остальных случаях -1 < ρ_B < 1, причем зависимость между А и В тем меньше, чем ближе ρ_B к нулю.

Итак, требуется при заданном уровне значимости α проверить нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции Спирмена ρг при конку-рирующей гипотезе Н1: ρг ≠ 0. Для этого найдем критическую точку:

                                                      ,                              

где п – объем выборки, ρВ – выборочный коэффициент ранговой корреляции Спирмена,  tкр (α, k) – критическая точка двусторонней критической области, найденная по таблице критических точек распределения Стьюдента, число степеней свободы k =– 2.

Тогда, если ρB < Tкр, то нулевая гипотеза принимается, то есть ранговая корреляционная связь между признаками незначима.

Если ρB > Tкр, то нулевая гипотеза отвергается, и между признаками существует значимая ранговая корреляционная связь.

   Можно использовать и другой коэффициент – коэффициент ранговой корреляции Кендалла. Рассмотрим ряд рангов у₁, у₂,…, у_п, введенный так же, как и ранее, и зададим величины R_i следующим образом: пусть правее у₁ имеется R₁ рангов, больших у₁; правее у₂ – R₂ рангов, больших у₂ и т.д. Тогда, если обозначить R =R₁ + R₂ +…+ R_n-1, то выборочный коэффициент ранговой корреляции Кендалла определяется формулой

                                                                                                   

где п – объем выборки.

Замечание. Легко убедиться, что коэффициент Кендалла обладает теми же свойствами, что и коэффициент Спирмена.

Для проверки нулевой гипотезы Н0: τг = 0 (генеральный коэффициент ранговой корреляции Кендалла равен нулю) при альтернативной гипотезе Н1: τг ≠ 0 необходимо найти критическую точку:

                                           ,                                      

где п – объем выборки, а zкр – критическая точка двусторонней критической области, определяемая из условия  по таблицам для функции Лапласа.

Если τ_B < T_кр , то нулевая гипотеза принимается (ранговая корреляционная связь между признаками незначима).

Если τ_B > T_кр , то нулевая гипотеза отвергается (между признаками существует значимая ранговая корреляционная связь).

Рассмотрим выборку двумерной случайной величины (Х, Y) . Примем в качестве оценок условных математических ожиданий компонент их условные средние значения, а именно: условным средним назовем среднее арифметическое наблюдавшихся значений Y, соответствующих Х = х. Аналогично условное среднее  – среднее арифметическое наблюдавшихся значений Х, соответствующих Y = y. В лекции 11 были выведены уравнения регрессии Y на Х и Х на Y:

               M (Y / x) = f (x),    M ( X / y ) = φ (y).

Условные средние и  являются оценками условных математических ожиданий и, следовательно, тоже функциями от х и у, то есть

                                       = f*(x) –                                                           

– выборочное уравнение регрессии Y на Х,

                                       = φ*(у) –                                                           

– выборочное уравнение регрессии Х на Y.

Соответственно функции f*(x) и φ*(у) называются выборочной регрессией Y на Х и Х на Y , а их графики – выборочными линиями регрессии. Выясним, как определять параметры выборочных уравнений регрессии, если сам вид этих уравнений известен.

Пусть изучается двумерная случайная величина (Х, Y), и получена выборка из п пар чисел (х1, у1), (х2, у2),…, (хп, уп). Будем искать параметры прямой линии среднеквадратической регрессии Y на Х вида

                                                  Y = ρyxx + b ,                                             

Подбирая параметры ρ_ух и b так, чтобы точки на плоскости с координатами (х₁, у₁), (х₂, у₂), …, (х_п, у_п) лежали как можно ближе к прямой (3). Используем для этого метод наименьших квадратов и найдем минимум функции

              .                               

Приравняем нулю соответствующие частные производные:

                                    .

В результате получим систему двух линейных уравнений относительно ρ и b:

                      .                                               

Ее решение позволяет найти искомые параметры в виде:

        .               

При этом предполагалось, что все значения Х и Y наблюдались по одному разу.

Теперь рассмотрим случай, когда имеется достаточно большая выборка (не менее 50 значений), и данные сгруппированы в виде корреляционной таблицы:

Y	X
	x1	x2	…	xk	ny
y1 y2 … ym	n11 n12 … n1m	n21 n22 … n2m	… … … …	nk1 nk2 … nkm	n11+n21+…+nk1 n12+n22+…+nk2 …………….. n1m+n2m+…+nkm
nx	n11+n12+…+n1m	n21+n22+…+n2m	…	nk1+nk2+…+nkm	n=∑nx = ∑ny

   

Здесь n_ij – число появлений в выборке пары чисел (x_i, y_j).

Поскольку , заменим в системе (5)         

 , где п_ху – число появлений пары чисел (х, у). Тогда система (22.5) примет вид:

                                      .                             

Можно решить эту систему и найти параметры ρух и b, определяющие выборочное уравнение прямой линии регрессии:

                                    .

Но чаще уравнение регрессии записывают в ином виде, вводя выборочный коэффициент корреляции. Выразим b из второго уравнения системы:

                                   .

Подставим это выражение в уравнение регрессии:   . Из

                              ,                            

где  Введем понятие выборочного коэффициента корреляции

                              

и умножим равенство  на :      , откуда  . Используя это соотношение, получим выборочное уравнение прямой линии регрессии Y на Х вида

                                       .                                      

Пусть генеральные совокупности Х1, Х2,…, Хр распределены нормально и имеют одинаковую дисперсию, значение которой неизвестно. Найдем выборочные средние по выборкам из этих генеральных совокупностей и проверим при заданном уровне значимо-сти нулевую гипотезу Н0: М(Х1) = М(Х2) = … = М(Хр) о равенстве всех математических ожиданий. Для решения этой задачи применяется метод, основанный на сравнении дисперсий и названный поэтому дисперсионным анализом.

Будем считать, что на случайную величину Х воздействует некоторый качественный фактор F, имеющий р уровней: F₁, F₂, …, F_p.  Требуется сравнить «факторную дисперсию», то есть рассеяние, порождаемое изменением уровня фактора, и «остаточную дисперсию», обусловленную случайными причинами. Если их различие значимо, то фактор существенно влияет на Х и при изменении его уровня групповые средние различаются значимо.

Будем считать, что количество наблюдений на каждом уровне фактора одинаково и равно q. Оформим результаты наблюдений в виде таблицы:

Номер испытания	Уровни фактора Fj
	F1	F2	…	Fp
1 2 … q	x11 x21 … xq1	x12 x22 … xq2	… … … …	x1p x2p … xqp
Групповое среднее			…

 

Определим общую, факторную и остаточную суммы квадратов отклонений от среднего:

                                   –                                           

– общая сумма квадратов отклонений наблюдаемых значений от общего среднего ;

                                     –                                       

– факторная сумма отклонений групповых средних от общей средней, характеризующая рассеяние между группами;

             –       

– остаточная сумма квадратов отклонений наблюдаемых значений группы от своего группового среднего, характеризующая рассеяние внутри групп.

Замечание. Остаточную сумму можно найти из равенства

                                             S_ост = S_общ – S_факт .

Вводя обозначения , получим формулы, более удобные для расчетов:

                            ,                                                

                             .                                   

Разделив суммы квадратов на соответствующее число степеней свободы, получим общую, факторную и остаточную дисперсии:

                       .                                        

Если справедлива гипотеза Н0, то все эти дисперсии являются несмещенными оценками генеральной дисперсии. Покажем, что проверка нулевой гипотезы сводится к сравнению факторной и остаточной дисперсии по критерию Фишера-Снедекора

1. Пусть гипотеза Н0 правильна. Тогда факторная и остаточная дисперсии являются несмещенными оценками неизвестной генеральной дисперсии и, следовательно, различаются незначимо. Поэтому результат оценки по критерию Фишера-Снедекора F покажет, что нулевая гипотеза принимается. Таким образом, если верна гипотеза о равенстве математических ожиданий  генеральных совокупностей, то верна и гипотеза о равенстве факторной и остаточной дисперсий.

2. Если нулевая гипотеза неверна, то с возрастанием расхождения между математичес-кими ожиданиями увеличивается и факторная дисперсия, а вместе с ней и отношение . Поэтому в результате Fнабл окажется больше Fкр, и гипотеза о равенстве дисперсий будет отвергнута. Следовательно, если гипотеза о равенстве математических ожиданий  генеральных совокупностей ложна, то ложна и гипотеза о равенстве факторной и остаточной дисперсий.

   Итак, метод дисперсионного анализа состоит в проверке по критерию F нулевой гипотезы о равенстве факторной и остаточной дисперсий.

   Замечание. Если факторная дисперсия окажется меньше остаточной, то гипотеза о равенстве математических ожиданий генеральных совокупностей верна. При этом нет необходимости использовать критерий F.

   Если число испытаний на разных уровнях различно (q₁ испытаний на уровне F ₁, q ₂ – на уровне F ₂ , …, q_р  – на уровне F _р  ), то

                            ,

где  сумма квадратов наблюдавшихся значений признака на уровне F_j,

 сумма наблюдавшихся значений признака на уровне F_j . При этом объем выборки, или общее число испытаний, равен .

Факторная сумма квадратов отклонений вычисляется по формуле

                     .

Остальные вычисления проводятся так же, как в случае одинакового числа испытаний:

            .

Задачу, для решения которой применяется метод Монте-Карло, можно сформулировать так: требуется найти значение а изучаемой случайной величины. Для его определения выбирается случайная величина Х, математическое ожидание которой равно а, и для выборки из п значений Х, полученных в п испытаниях, вычисляется выборочное среднее:

                                                    ,

которое принимается в качестве оценки искомого числа а:

                                                                   

Этот метод требует проведения большого числа испытаний, поэтому его иначе называют методом статистических испытаний. Теория метода Монте-Карло исследует, как наиболее целесообразно выбрать случайную величину Х, как найти ее возможные значения, как уменьшить дисперсию используемых случайных величин, чтобы погрешность при замене а на а* была возможно меньшей.

   Поиск возможных значений Х называют разыгрыванием  случайной величины. Рассмотрим некоторые способы разыгрывания случайных величин и выясним, как оценить допускаемую при этом ошибку.

                Оценка погрешности метода Монте-Карло.

Если поставить задачу определения верхней границы допускаемой ошибки с заданной доверительной вероятностью g, то есть поиска числа d, для которого

                                          ,

то получим известную задачу определения доверительного интервала для математичес-кого ожидания генеральной совокупности Воспользуемся результатами решения этой задачи для следующих случаев:

случайная величины Х распределена нормально и известно ее среднее квадратическое отклонение. Тогда из формулы получаем: , где п – число испытаний, s – известное среднее квадратическое отклонение, а t – аргумент функции Лапласа, при котором Ф(t) = g/2.

Случайная величина Х распределена нормально с неизвестным s. Воспользуемся формулой, из которой следует, что , где s – исправленное выборочное среднее квадратическое отклонение, а определяется по соответствующей таблице.

Если случайная величина распределена по иному закону, то при достаточно большом количестве испытаний (n > 30) можно использовать для оценки d предыдущие формулы, так как при п®¥ распределение Стьюдента стремится к нормальному, и границы интервалов, полученные по формулам различаются незначительно.

 

                                       Разыгрывание случайных величин.

Определение. Случайными числами называют возможные значения r непрерывной случайной величины R, распределенной равномерно в интервале.

1.     Разыгрывание дискретной случайной величины.

Пусть требуется разыграть дискретную случайную величину Х, то есть получить последовательность ее возможных значений, зная закон распределения Х:

                                Х   х₁   х₂ … х_п

                                р   р₁   р₂ … р_п .

Рассмотрим равномерно распределенную в (0, 1) случайную величину R и разобьем интервал (0, 1) точками с координатами  р1,  р1 +  р2, …, р1 +  р2 +… +рп-1 на п частичных интервалов , длины которых равны вероятностям с теми же индексами.

Теорема. Если каждому случайному числу , которое попало в интервал , ставить в соответствие возможное значение , то разыгрываемая величина будет иметь заданный закон распределения:

                                Х   х1   х2 … хп

                                р   р1   р2 … рп .

Доказательство.

Возможные значения полученной случайной величины совпадают с множеством                             х₁ ,  х₂ ,… х_п, так как число интервалов равно п, а при попадании r_j  в интервал  случайная величина может принимать только одно из значений х₁ ,  х₂ ,… х_п.

Так как R распределена равномерно, то вероятность ее попадания в каждый интервал равна его длине, откуда следует, что каждому значению  соответствует вероятность p_i. Таким образом, разыгрыываемая случайная величина имеет заданный закон распределения.

Пример. Разыграть 10 значений дискретной случайной величины Х, закон распределения которой имеет вид:     Х    2        3        6        8

                                      р    0,1     0,3     0,5     0,1

Решение. Разобьем интервал (0, 1) на частичные интервалы: D₁– (0; 0,1), D₂ – (0,1; 0,4), D₃ –   (0,4; 0,9), D₄ – (0,9; 1). Выпишем из таблицы случайных чисел 10 чисел: 0,09; 0,73; 0,25; 0,33; 0,76; 0,52; 0,01; 0,35; 0,86; 0,34. Первое и седьмое числа лежат на интервале D₁, следовательно, в этих случаях разыгрываемая случайная величина приняла значение х₁ = 2; третье, четвертое, восьмое и десятое числа попали в интервал D₂, что соответствует х₂ = 3; второе, пятое, шестое и девятое числа оказались в интервале D₃ – при этом Х = х₃ = 6; на последний интервал не попало ни одного числа. Итак, разыгранные возможные значения Х таковы: 2, 6, 3, 3, 6, 6, 2, 3, 6, 3.

2.     Разыгрывание противоположных событий.

Пусть требуется разыграть испытания, в каждом из которых событие А появляется с известной вероятностью р. Рассмотрим дискретную случайную величину Х, принимающую значения 1 (в случае, если событие А произошло) с вероятностью р и 0 (если А не произошло) с вероятностью q = 1 – p. Затем разыграем эту случайную величину так, как было предложено в предыдущем пункте.

 

Пример. Разыграть 10 испытаний, в каждом из которых событие А появляется с вероятностью 0,3.

Решение. Для случайной величины Х с законом распределения  Х   1     0

                                                                                                              р  0,3  0,7

получим интервалы   D₁ – (0; 0,3) и D₂ – (0,3; 1). Используем ту же выборку случайных чисел, что и в предыдущем примере, для которой в интервал D₁ попадают числа №№1,3 и 7, а остальные – в интервал D₂. Следовательно, можно считать, что событие А произошло в первом, третьем и седьмом испытаниях, а в остальных – не произошло.

Разыгрывание полной группы событий.

Если события А1, А2, …, Ап, вероятности которых равны р1 ,  р2 ,… рп, образуют полную группу, то для из разыгрывания (то есть моделирования последовательности их появлений в серии испытаний) можно разыграть дискретную случайную величину Х с законом распределения   Х    1    2  …  п, сделав это так же, как в пункте 1. При этом считаем, что

                           р     р1   р2 … рп

если Х принимает значение хi = i, то в данном испытании произошло событие Аi.

Разыгрывание непрерывной случайной величины.

а) Метод обратных функций.

Пусть требуется разыграть непрерывную случайную величину Х, то есть получить последовательность ее возможных значений x_i (i = 1, 2, …, n), зная функцию распределения F(x).

Теорема Если ri – случайное число, то возможное значение xi разыгрываемой непрерывной случайной величины Х с заданной функцией распределения F(x), соответствующее ri , является корнем уравнения

                                   F(xi) = ri.                                                                         

Доказательство.

Так как F(x) монотонно возрастает в интервале от 0 до 1, то найдется (причем единственное) значение аргумента xi , при котором функция распределения примет значение ri . Значит, уравнение  имеет единственное решение: хi = F-1(ri ), где F-1- функция, обратная к F. Докажем, что корень уравнения является возможным значением рассматриваемой случайной величины Х. Предположим вначале, что xi – возможное значение некоторой случайной величины x, и докажем, что вероятность попадания x в интервал (с, d) равна F(d) – F(c). Действительно,  в силу монотонности F(x) и того, что F(xi) = ri. Тогда

, следовательно,    Значит, вероятность попадания x в интервал (c, d) равна приращению функции распределения F(x) на этом интервале, следовательно, x = Х.

Пример.

Разыграть 3 возможных значения непрерывной случайной величины Х, распределенной равномерно в интервале

Решение.

F(x) = , то есть требуется решить уравнение   Выберем 3 случайных числа: 0,23; 0,09 и 0,56 и подставим их в это уравнение. Получим соответствующие возможные значения Х:        

б) Метод суперпозиции.

Если функция распределения разыгрываемой случайной величины может быть представлена в виде линейной комбинации двух функций распределения:

                       ,                                           

то , так как при х®¥  F(x) ® 1.

Введем вспомогательную дискретную случайную величину Z с законом распределения

Z      1      2  . Выберем 2 независимых случайных числа r₁ и r₂ и разыграем возможное

p      C₁   C₂         

значение Z по числу    r₁ (см. пункт 1). Если Z = 1, то ищем искомое возможное значение Х из уравнения , а если Z = 2, то решаем уравнение   .

Можно доказать, что при этом функция распределения разыгрываемой случайной величины равна заданной функции распределения.

в) Приближенное разыгрывание нормальной случайной величины.

Так как для R, равномерно распределенной в (0, 1), , то для суммы п независимых, равномерно распределенных в интервале (0,1) случайных величин . Тогда в силу центральной предельной теоремы нормированная случайная величина  при п ® ¥ будет иметь распределение, близкое к нормальному, с параметрами а = 0 и s =1. В частности, достаточно хорошее приближение получается при п = 12:   

Итак, чтобы разыграть возможное значение нормированной нормальной случайной величины х, надо сложить 12 независимых случайных чисел и из суммы вычесть 6.

Зависимые и независимые случайные величины.

При изучении систем случайных величин всегда следует обращать внимание на степень и характер их зависимости. Эта зависимость может быть более или менее тесной.

Понятие о независимых случайных величинах — одно из важных понятий теории вероятностей.

Определение 1. Случайная величина Y называется независимой от случайной ве­личины X, если закон распределения величины Y не зависит от того, какое значение приняла величина X.

Для непрерывных случайных величин условие независимости Y от X может быть записано в виде:

Напротив, в случае, если Y зависит от X, то

Докажем, что зависимость или независимость случайных ве­личин всегда взаимны: если величина Y не зависит от X, то и ве­личина X не зависит от Y.

Действительно, пусть Y не зависит от X, тогда

 

Плотность совместного распределения согласно (5.4.5) и (5.4.6) можно записать

откуда, получим:

что и требовалось доказать.

Так как зависимость и независимость случайных величин всегда взаимны, можно дать новое определение независимых случайных величин.

Определение 2. Случайные величины X и Y называются независимыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая. В противном случае величины X и Y называются зависимыми.

Для независимых непрерывных случайных величин теорема умно­жения законов распределения принимает вид:

т.е. плотность распределения системы независимых случайных величин равна произведению плотностей распределения от­дельных величин, входящих в систему.

Остановимся, несколько подробнее на важных понятиях о «зави­симости» и «независимости» случайных величин.

Понятие «зависимости» случайных величин, которым мы пользу­емся в теории вероятностей, несколько отличается от обычного по­нятия «зависимости» величин, которым мы оперируем в математике. Действительно, обычно под «зависимостью» величин подразумевают только один тип зависимости—полную, жесткую, так называемую функциональную зависимость. Две величины X и Y называются функционально зависимыми, если, зная значение одной из них, можно точно указать значение другой.

В теории вероятностей мы встречаемся с другим, более общим, типом зависимости — с вероятностной или «стохастической» зави­симостью. Если величина Y связана с величиной X вероятностной зависимостью, то, зная значение X, нельзя указать точно значение Y, а можно указать только ее закон распределения, зависящий от того, какое значение приняла величина X.

Вероятностная зависимость между случайными величинами очень часто встречается на практике. Если случайные величины X и Y находятся в вероятностной зависимости, это не означает, что с из­менением величины X величина Y изменяется вполне определенным образом; это лишь означает, что с изменением величины X величина Y имеет тенденцию также изменяться (например, возрастать или убывать при возрастании X).

Рассмотрим, например, две такие случайные величины: X — рост наугад взятого человека, Y — его вес. Очевидно, величины X и Y находятся в определенной вероятностной зависимости; она выражается в том, что в общем люди с большим ростом имеют больший вес.

Числовые характеристики системы двух случайных величин.

Ранее в разделе 3.4. были введены числовые характеристики случайной величины важнейшими из которых являются моменты. Аналогичные числовые характеристики можно ввести и для системы двух случайных величин.

Начальным моментом порядка k,s системы (X,Y) называется

математическое ожидание произведения Xk на Ys:

Центральным моментом порядка k, s системы (X,Y) называется математическое ожидание произведения k-й и s-й степени соответствующих центрированных величин:

где

Запишем формулы для непосредственного подсчета моментов. Для дискретных случайных величин

где  — вероятность того, что система (X,Y) примет значения , а суммирование распространяется по всем возможным значениям случайных величин X,Y.

Для непрерывных случайных величин:

где f(x, у) — плотность распределения системы.

Помимо чисел k и s, характеризующих порядок момента по от­ношению к отдельным величинам, рассматривается еще суммарный порядок момента k+s, равный сумме показателей степеней при X и Y. Соответственно суммарному порядку моменты классифицируются на первые, вторые и т. д. На практике обычно применяются только первые и вторые моменты.

Первые начальные моменты представляют собой уже известные нам математические ожидания величин X и Y, входящих в систему:

Совокупность математических ожиданий т_х, т_у представляет собой характеристику положения системы. Геометрически это коор­динаты точки на плоскости, вокруг которой происходит рас­сеивание случайных точек (X,Y)  будем называть вектором математических ожиданий.

Кроме первых начальных моментов, на практике широко при­меняются еще вторые центральные моменты системы. Два из них представляют собой уже известные нам дисперсии, величин X и Y.

характеризующие рассеивание случайной точки в направлении осей Ох и Оу, относительно вектора математических ожиданий.

Особую роль как   характеристика  системы   играет второй смешанный центральный момент:

т.е. математическое ожидание произведения центрированных случайных величин. Ввиду того, что этот момент играет важную роль в теории систем случайных величин, введем для него особое обозначение:

Характеристика  К_ху  называется корреляционным моментом (иначе — «моментом связи») случайных величин X, Y.

Для дискретных случайных величин корреляционный момент выражается формулой

а для непрерывных — формулой

Выясним смысл и назначение этой характеристики.

Корреляционный момент есть характеристика системы случайных величин, описывающая рассеивание случайных величин X и Y, а так же вероятностную связь между ними. Для того чтобы убедиться в этом, докажем, что для независимых случайных величин корреляционный момент равен нулю.

Доказательство проведем для непрерывных случайных величин. Пусть X, Y — независимые непрерывные случайные величины с плотностью распределения f(x,у). Для независимых случайных величин

где  — плотности   распределения соответственно величин X и Y.

Интеграл

представляет собой не что иное, как первый центральный момент величины X, и, следовательно, равен нулю; по той же причине равен нулю и второй сомножитель; следовательно, для независимых слу­чайных величин .

Таким образом, из независимости случайных величин X и Y следует их некоррелированность, если корреляционный момент двух случайных величин отличен от нуля, это есть признак наличия зависимости между ними.

Корреляционный момент характе­ризует не только зависимость величин, но и их рассеивание. Дей­ствительно, если, например, одна из величин (X,Y) весьма мало отклоняется от своего математического ожидания (почти не случайна), то корреляционный момент будет мал, какой бы тесной зависимостью ни были связаны величины (X,Y). Поэтому для характеристики связи между величинами (X,Y) в чистом виде переходят от момента К_ху к безразмерной характеристике

где  — среднеквадратические отклонения величин X,Y. Эта характеристика называется коэффициентом корреляции величин X и Y. Очевидно, коэффициент корреляции обращается в нуль одновременно с корреляционным моментом; следовательно, для независимых случайных величин, коэффициент корреляции равен нулю.

Случайные величины, для которых корреляционный момент (а значит, и коэффициент корреляции) равен нулю, называются некоррелированными (иногда — «несвязанными»).

Выясним, эквивалентно ли понятие некоррелированности случайных величин понятию независимости. Выше мы доказали, что две независимые случайные величины всегда    являются     некоррелированными. Остается выяснить: справедливо ли обратное положение, вытекает ли из некоррелированности величин их независимость? Оказывается — нет. Можно построить примеры таких случайных величин,   которые являются некоррелированными, но зави­симыми.    Равенство   нулю   коэффициента корреляции — необходимое,  но  не доста­точное условие   независимости случайных величин.

Из некоррелирован­ности величин еще не следует их независимость. Условие   неза­висимости случайных  величин — более  жесткое, чем условие некор­релированности.

Убедимся в этом на примере. Рассмотрим систему случайных величин (X,Y), распределенную с равномерной плотностью внутри круга С радиуса r с центром в начале координат

Плотность распределения  величин (X, Y)  выражается  формулой

тогда

Нетрудно убедиться, что в данном примере величины являются зависимыми. Действительно, если ве­личина X приняла, например, значение 0, то величина Y может с равной вероятностью принимать все значения от –r до +r, если же величина X приняла значение r, то величина Y может при­нять только одно единственное значение, в точности равное нулю; вообще, диапазон возможных значений Y зависит от того, какое значение приняла X.

Таким образом, мы видим, что из некоррелированности случайных величин не всегда следует их независимость.

Коэффициент корреляции характеризует не всякую зависимость, а только так называемую линейную зависимость. Линейная вероятностная зависимость случайных величин заключается в том, что при возрастании одной случайной величины другая имеет тенденцию возрастать (или же убывать) по линейному закону. Коэффициент корреляции характеризует степень тесноты линейной зависимости между случайными величинами. Если случайные величины X и Y связаны линейной функциональной зависимостью: , то , причем знак «плюс» или «минус» берется в зависимости от того, положителен или отрицателен коэффициент а. В общем случае, когда величины X и Y связаны произвольной вероятностной зависимостью, коэффициент корреляции может иметь значение в пре­делах: .

В случае  говорят о положительной корреляции величин X и Y, в случае  — об отрицательной корреляции. Положительная корреляция между случайными величинами означает, что при возрастании одной из них другая имеет тенденцию в среднем возрастать; отрицательная корреляция означает, что при возрастании одной из случайных величин другая имеет тенденцию в среднем убывать.

Система произвольного числа случайных величин (случайные вектора).

Определение 1. Функцией распределения системы п случайных величин  называется вероятность совместного выполнения п неравенств вида , то есть :

Определение 2. Плотностью распределения системы п непрерывных случайных величин называется n-я смешанная частная производная функции , взятая один раз по каждому аргументу:

Зная закон распределения системы, можно определить законы распределения отдельных величин, входящих в систему. Функция распределения каждой из величин, входящих в систему, получится, если в функции распределения системы положить все остальные аргументы равными :

Если выделить из системы величин  подсистему , то функция распределения этой подсистемы определяется по формуле

Плотность распределения каждой из величин, входящих в систему, получится, если плотность распределения системы проинтегрировать в бесконечных пределах по всем остальным аргументам:

Плотность распределения подсистемы , выделенной из системы , равна:

Определение 3. Условным законом распределения подсистемы  называется ее закон распределения, вычисленный при условии, что остальные величины приняли значения .

Условная плотность распределения ее может быть вычислена по формуле:

Случайные величины  называются независимыми, если закон распределения каждой частной подсистемы, выделенной из системы , не зависит от того, какие значения при­няли остальные случайные величины.

Плотность распределения системы независимых случайных вели­чин равна произведению плотностей распределения отдельных вели­чин, входящих в систему:

Вероятность попадания случайной точки  в пре­делы n-мерной области D выражается n-кратным интегралом:

Эта формула  по существу является основной формулой для вычисления вероятностей событий, не сводящихся к схеме случаев.

Числовые характеристики системы нескольких случайных величин.

Закон распределения системы (заданный функцией распределения или плотностью распределения) является полной, исчерпывающей характеристикой системы нескольких случайных величин. Иногда ограниченность экспериментального материала не дает возможности построить закон распределения системы. В других случаях исследование вопроса с помощью сравнительно громоздкого аппарата законов распределения не оправдывает себя в связи с не­высокими требованиями к точности результата.

Во всех таких случаях вместо законов распределения применяют неполное, приближенное описание системы случайных величин с по­мощью минимального количества числовых характеристик.

Минимальное число характеристик, с помощью которых может быть охарактеризована система п случайных величин , сводится к следующему:

1) вектор математических ожиданий:

характеризующий средние значения компонент;

Здесь

2) вектор дисперсий

характеризующий рассеивание компонент;

Здесь

3) корреляционных моментов

где

характеризующих   по парную   корреляцию   всех   величин,   входящих в систему.

Заметим, что дисперсия каждой из случайных величин Х_i есть, по существу, не что иное, как частный случай корреля­ционного момента, а именно:

Все корреляционные моменты и дисперсии удобно расположить в виде прямоугольной таблицы (называемой матрицей):

Эта таблица  называется корреляционной  матрицей системы слу­чайных величин .

Очевидно, что не все члены корреляционной матрицы различны. Из определения корреляционного момента ясно, что , т. е. элементы корреляционной матрицы, расположенные симме­трично по отношению к главной диагонали, равны. В связи с этим часто заполняется не вся корреляционная матрица, а лишь ее половина, считая от главной диагонали:

Корреляционную матрицу, составленную из элементов , часто сокращенно обозначают символом .

По главной диагонали корреляционной матрицы стоят дисперсии случайных величин .

В случае, когда случайные величины  некоррелированны, все элементы корреляционной матрицы, кроме диагональ­ных, равны нулю:

Такая матрица называется диагональной.

В целях наглядности суждения именно о коррелированности случайных величин пользуются нормированной корреляционной матрицей , составленной не из корреляцион­ных моментов, а из коэффициентов корреляции: ; .

Все диагональные  элементы   этой   матрицы, естественно, равны единице. Нормированная корреляционная матрица имеет вид:

Введем понятие о некоррелированных системах случайных величин. Рассмотрим две системы случайных величин: ; или два случайных вектора в n-мерном пространстве: X с составляющими  и Y с составляющими .

Случайные векторы X и Y называются некоррелированными, если каждая из составляющих вектора X некоррелированная с каждой из составляющих вектора Y:

 

Закон распределения функции одного случайного аргумента.

Начнем с рассмотрения наиболее простой задачи о законе распределения функции одного случайного аргумента. Так как для практики наибольшее значение имеют непрерывные случайные величины, будем решать задачу именно для них.

Имеется непрерывная случайная величина X с плотностью рас­пределения f(x). Другая случайная величина Y связана с нею функ­циональной зависимостью: .

Требуется найти плотность распределения величины Y. Рассмотрим  участок оси абсцисс , на котором лежат все возможные значения величины X, т. е. .

Способ решения поставленной задачи зависит от поведения функ­ции  на участке : является ли она монотонной или нет.

В данном параграфе мы рассмотрим случай, когда функция  на участке  монотонна. При этом отдельно проанализируем два случая: монотонного возрастания и монотонного убывания функции.

1. Функция  на участке  монотонно возрастает (рис. 6.1.1). Когда величина X принимает различные значения на

участке , случайная точка (X, Y) перемещается только по кривой ; ордината этой случайной точки полностью опре­деляется ее абсциссой.

Обозначим  плотность распределения величины Y. Для того чтобы определить , найдем сначала функцию распределения величины Y: .

Проведем прямую АВ, парал­лельную оси абсцисс на расстоянии y от нее Чтобы выполнялось условие , случайная точка (X,Y) должна попасть на тот участок кривой, который лежит ниже прямой АВ; для этого необходимо и достаточно, чтобы случайная величина X попала на участок оси абсцисс от a до x, где x – абсцисса точки пересечения кривой  и прямой АВ. Следовательно,

Так, как  монотонная на участке , то существует обратная однозначная функция . Тогда

Дифференцируя интеграл по переменной у, входящей в верх­ний предел, получим:

2. Функция  на   участке  монотонно   убывает В этом случае

откуда

Сравнивая формулы замечаем, что они могут быть объединены в одну:

Действительно, когда  возрастает, ее производная (а значит, и ) положительна. При убывающей функции  производная  отрица­тельна, но зато перед ней в формуле стоит минус. Следо­вательно, формула в которой производная берется по модулю, верна в обоих случаях.

3. Рассмотрим случай когда функция  на участке  возможных значений аргумента не монотонна (рис.  6.1.3).

Найдем функцию распределения G(y) величины Y. Для этого снова проведем прямую АВ, параллельную оси абсцисс, на расстоянии у от нее и выделим те участки кривой , на которых выпол­няется условие. Пусть этим участкам соответствуют участки оси абсцисс: .

Событие  равносильно попаданию случайной величины X на один из участков  – безразлично, на какой именно. Поэтому

Таким образом, для функции  распределения величины  имеем формулу:

Границы интервалов  зависят от у и при заданном конкрет­ном виде функции  могут быть выражены как явные функ­ции у. Дифференцируя G(y) по величине у, входящей в пределы интегралов, получим плотность распределения величины Y:

Пример. Величина X подчинена закону равномерной плотности на участке отдо .

Найти закон распределения величины .

Решение. Строим график функции  (рис. 6.1.4). Очевидно , , и в интервале  функция  немонотонна. Применяя формулу (6.1.8), имеем:

Выразим пределы  и  через у: ; . Тогда

.

Чтобы найти плотность g(у) продифференцируем это выражение по переменной у, входящей в пределы интегралов, получим:

Имея в виду, что , получим:

Указывая для Y закон распределения следует оговорить, что он действителен лишь в пределах от 0 до 1, т.е. в тех  пределах, в которых изменяется  при аргументе X, заключенном в интервале от , до . Вне этих пределов плотность g(у) равна нулю.

График функции g(у) дан на рис.6.1.5. При у=1 кривая g(у) имеет ветвь, уходящую на бесконечность.

Закон распределения функции двух случайных величин.

Изложим  общий метод решения задачи для наиболее простого случая функции двух аргументов.

Имеется система двух непрерывных случайных ве­личин (X,Y) с плотностью распределения f(x,y). Слу­чайная величина Z связана с X и Y функциональной зависимостью:

Требуется найти закон распределения величины Z.

Для решения задачи вос­пользуемся геометрической интерпретацией. Функия  изобразится  уже не кривой,   а   поверхностью (рис.  6.2.1).

Найдем функцию распределения величины Z:

Проведем плоскость Q, параллельную плоскости хОу, на расстоя­нии z от нее. Эта плоскость пересечет поверхность  по некоторой кривой К. Спроектируем кривую К на плоскость хОу. Эта проекция, уравнение которой , разделит плоскость хОу на две области; для одной из них высота поверхности над пло­скостью хОу будет меньше, а для другой — больше z. Обозначим D ту область, для которой эта высота меньше z. Чтобы выполнялось неравенство, случайная точка (X,Y) очевидно, должна по­пасть в область D; следовательно,

В выражение  величина z входит неявно, через пределы интегрирования.

Дифференцируя G(z) по z, получим плотность распределения величины Z:

Зная конкретный вид функции , можно выразить пре­делы интегрирования через z и написать выражение g(z) в явном виде.

Закон распределения суммы двух случайных величин. Композиция законов распределения.

Воспользуемся изложенным выше общим методом для решения одной задачи, а именно для нахождения закона распределения суммы двух случайных величин. Имеется система двух случайных величин (X,Y) с плотностью распределения f(x,у). Рассмотрим сумму случайных величин X и Y:  и найдем закон распределения величины Z. Для этого построим на плоскости хОу линию, уравнение которой  то — прямая, отсекающая на осях отрезки, равные z. Прямая  делит плоскость хОу на две части; правее и выше ее ; левее и ниже

Область D в данном случае — левая нижняя часть пло­скости хОу, заштрихованная на рис. 6.3.1. Согласно формуле имеем:

Дифференцируя это выражение по  переменной z, входящей в верх­ний предел внутреннего интеграла, получим:

Это — общая формула для плотности распределения суммы двух случайных величин.

Из соображений симметричности задачи относительно X и Y можно написать другой вариант той же формулы:

который равносилен первому и может применяться вместо него.

Пример композиции нормальных законов. Рассмотрим две независимые случайные величины X и Y, подчи­ненные нормальным законам:

Требуется произвести композицию этих законов, т. е. найти закон распределения величины: .

Применим общую формулу для композиции законов рас­пределения:

Если раскрыть скобки в показателе степени подынтегральной функции и привести подобные члены, получим:

Подставляя эти выражения в уже встречавшуюся нам формулу

после преобразований получим:

а это есть не что иное, как нормальный закон с центром рассеи­вания

и среднеквадратическим отклонением

К тому же выводу можно прийти значительно проще с помощью следующих качественных рассуждений.

Не раскрывая скобок и не производя преобразований в подынте­гральной функции (6.3.3), сразу приходим к выводу, что показатель степени есть квадратный трехчлен относительно х вида

где в коэффициент А величина z не входит совсем, в коэффициент В входит в первой степени, а в коэффициент С — в квадрате. Имея это в виду и применяя формулу(6.3.4), приходим к заключению, что g(z) есть показательная функция, показатель степени которой — квадратный трехчлен относительно z, а плотность аспределения; такого  вида соответствует  нормальному закону. Таким образом, мы; приходим к чисто качественному выводу: закон распределения вели­чины z должен быть нормальным. Чтобы найти параметры этого закона —  и  — воспользуемся теоремой  сложения  математических  ожиданий и теоремой  сложения дисперсий. По теореме сложения математических ожиданий . По теореме сложения дисперсий  или откуда следует формула

Переходя от среднеквадратических отклонений к пропорциональным им вероятным отклонениям, получим: .

Таким образом, мы пришли к следующему правилу: при компо­зиции нормальных законов получается снова нормальный за­кон, причем математические ожидания и дисперсии (или квад­раты вероятных отклонений) суммируются.

Правило композиции нормальных законов может быть обобщено на случай произвольного числа независимых случайных величин.

Если имеется n независимых случайных величин:  подчиненных нормальным законам с центрами рассеивания  и среднеквадратическими отклонениями ,то величина  также подчинена нормальному закону с параметрами

Вместо формулы (6.3.9) можно применять равносильную ей формулу:

Если система случайных величин (X, Y) распределена по нормальному закону, но величины X, Y зависимы, то нетрудно доказать, так же как раньше, исходя из общей формулы что закон распределения величины  есть тоже нормальный закон. Центры рассеивания по-прежнему складываются алгебраически, но для среднеквадратических отклонений правило становится более сложным: , где, r — коэффициент корреляции величин X и Y.

При сложении нескольких зависимых случайных величин, подчиненных в своей совокупности нормальному закону, закон распределения суммы также оказывается нормальным с параметрами

или в вероятных отклонениях

где  — коэффициент корреляции величин X_i, X_j, а суммирование распространяется на все различные попарные комбинации величин .

Мы убедились в весьма важном свойстве нормального закона: при композиции нормальных законов получается снова нормальный закон. Это — так называемое «свойство устойчивости». Закон распределения называется устойчивым, если при композиции двух законов этого типа получается снова закон того же типа. Выше мы показали, что нормальный закон является устойчивым. Свойством устойчивости обладают весьма немногие законы распределения. Закон равномерной плотности неустойчив: при композиции двух законов равномерной плотности на участках от 0 до 1 мы получили закон Симпсона.

Устойчивость нормального закона — одно из существенных условий его широкого распространения на практике. Однако свойством устойчивости, кроме нормального, обладают и некоторые другие законы распределения. Особенностью нор­мального закона является то, что при композиции достаточно боль­шого числа практически произвольных законов распределения суммарный закон оказывается сколь угодно близок к нормальному вне зависимости от того, каковы были законы распределения слагаемых. Это можно проиллюстрировать, например, составляя композицию трех законов равномерной плотности на уча­стках от 0 до 1. Получающийся при этом закон распределения g(z) изображен на рис. 6.3.1. Как видно из чертежа, график функции g(z) весьма напоминает график нормального закона.

Распределение произведения.

Пусть , где  и  — скалярные случайные величины с совместной плотностью распределения . Найдем распределение Y.

На рис. событие  показано штриховкой. Теперь очевидно, что

Распределение квадрата случайной величины.

Пусть ; X — непрерыная случайная величина с плотностью . Найдем . Если , то  и . В том случае, когда  получаем:

В частном случае, когда , имеем:

Если при этом , , то

Распределение частного.

Пусть ; X — непрерывная случайная величина с плотностью . Найдем .

На рис. 6.6.1 видно, что событие — изображают заштрихованные области. Поэтому

Если ; ;  независимы, то легко получить:

Распределение носит имя Коши. Оказывается, это распределение не имеет математического ожидания и дисперсии.

Числовые характеристики функций случайных величин.

Рассмотрим следующую задачу: случайная величина Y есть функция нескольких случайных величин ;

Пусть нам известен закон распределения системы аргументов ; требуется найти числовые характеристики вели­чины Y, в первую очередь—математическое ожидание и дисперсию.

Представим себе, что нам удалось найти закон распределения g(у) величины Y. Тогда задача об определении числовых характеристик становится простой; они находятся по формулам:

Однако задача нахождения закона распределения g(y) ве­личины Y часто оказывается довольно сложной. Для решения поставленной задачи нахождение закона распределения величины Y не нужно: чтобы найти только числовые характеристики величины Y, нет надобности знать ее закон распределения; достаточно знать закон распределения аргументов .

Таким образом, возникает задача определения числовых характе­ристик функций случайных величин, не определяя законов распре­деления этих функций.

Рассмотрим задачу об определении числовых характеристик функ­ции при заданном законе распределения аргументов. Начнем с самого простого случая — функции одного аргумента.

Имеется случайная величина X с заданным законом распределе­ния; другая случайная величина Y связана с X функциональной за­висимостью: Y= (Х).

Требуется, не находя закона распределения величины Y, опреде­лить ее математическое ожидание:

Рассмотрим сначала случай, когда X есть дискретная случайная величина с рядом распределения:

 

xi	X1	x2	…	xn
pi	P1	p2	…	pn

Запишем в виде таблицы возможные  значения величины Y и вероятности этих значений:

 

( xi)	( x1)	( x2)	…	( xn)
pi	P1	P2	…	pn

Таблица не является рядом распре­деления величины Y,  так как в общем случае некоторые из значений

могут совпадать между собой. Для того чтобы от таблицы перейти к подлинному ряду распределения величины Y, нужно было бы расположить значения (6.7.5) в порядке возрастания, объединить столбцы, соответствую­щие равным между собой значениям Y, и сложить соответствующие вероятности. Математическое ожидание  величины Y можно определить по формуле

Очевидно, величина т_у — М((Х)), определяемая по формуле не может измениться от того, что под знаком суммы некоторые члены будут объединены заранее, а порядок членов изменен.

В формуле для математического ожидания функции не содержится в явном виде закона распределения самой функции, а содержится только закон распределения аргумента. Таким образом, для определения математического ожидания функции вовсе не требуется знать закон распределения этой функции, а доста­точно знать закон распределения аргумента.

Заменяя в формуле сумму интегралом, а вероятность р_i— элементом вероятности, получим аналогичную формулу для непрерыв­ной случайной величины:

где f(x) — плотность распределения величины X.

Аналогично   может   быть   определено   математическое   ожидание функции у(Х,Y)  от  двух случайных аргументов X и Y. Для дискретных величин

где  — вероятность того, что система (X,Y) примет значения (x_i y_j). Для непрерывных величин

где f(x, у) — плотность распределения системы (X, Y).

Аналогично определяется математическое ожидание функции от произвольного числа случайных аргументов. Приведем соответствующую формулу только для непрерывных величин:

где  — плотность распределения системы .

Формулы типа (6.7.10)  весьма часто встречаются в практическом применении теории   вероятностей,   когда   речь  идет  об  осреднении каких-либо величин, зависящих от ряда случайных аргументов.

Таким образом, математическое ожидание функции любого числа случайных аргументов может быть найдено помимо закона распреде­ления функции. Аналогично могут быть найдены и другие числовые характеристики функции — моменты различных порядков. Так как каждый момент представляет собой математическое ожидание некоторой функции исследуемой случайной величины, то вычисление любого момента может быть осуществлено приемами, совершенно аналогич­ными вышеизложенным. Здесь мы приведем расчетные формулы только для дисперсии, причем лишь для случая непрерывных случайных аргументов.

Дисперсия функции одного случайного аргумента выражается формулой

где т=М[(x)] — математическое ожидание функции (X); f(х) — плотность распределения величины X.

Аналогично выражается дисперсия функции двух случайных аргументов:

где  — математическое ожидание функции (Х,Y); f(x,у) — плотность распределения системы (X,Y). Наконец, в случае произвольного числа случайных аргументов, в аналогичных обозначениях:

 

Основные теоремы о математическом ожидании.

Мы изложим ряд теорем о числовых характеристиках случайных величин, применимый в широком круге условий.

Теорема 1. Математическое ожидание неслучайной  величины равно самой величине

Доказать условие можно, рассматривая неслучайную величину с как частный вид случайной, при одном возможном значении с вероятностью единица; тогда по общей формуле для математического ожидания:

Теорема 2. Неслучайную величину можно выносить за знак математического ожидания

Если с — неслучайная величина, а X — случайная, то

Доказательство.

а) Для дискретных случайных величин имеем:

6) Для непрерывных величин

Теорема 3. Математическое ожидание суммы двух случайных величин равно сумме их математических ожиданий.

Докажем, что для любых двух случайных величин X и Y

 

Это свойство известно под названием теоремы сложения математических ожиданий.

Доказательство.

а) Пусть (X,Y)— система дискретных случайных величин. При­меним к сумме случайных величин общую формулу для ма­тематического ожидания функции двух аргументов:

Но  представляет  собой  не что иное,   как полную вероят­ность того, что величина X примет значение x_i:

следовательно,

Аналогично докажем, что

и теорема доказана.

б) Пусть (X,Y)— система непрерывных случайных величин.

Преобразуем первый из интегралов

аналогично

и теорема доказана.

Следует специально отметить, что теорема сложения математи­ческих ожиданий справедлива для любых случайных вели­чин — как зависимых, так и независимых.

Теорема сложения математических ожиданий обобщается на про­извольное число слагаемых:

т. е. математическое ожидание  суммы нескольких случайных величин равно сумме их математических ожиданий.

Для   доказательства   достаточно   применить   метод   полной   ин­дукции.

Теорема 4. Математическое ожидание линейной комбинации случайных величин равно той же линейной комбинации от математических ожиданий аргументов.

 Рассмотрим линейную комбинации нескольких случайных аргументов Х₁,  X₂,…,X_n:

где a_i ,b — неслучайные коэффициенты. Докажем, что

Доказательство. Пользуясь теоремой сложения математических ожиданий и правилом вынесения неслучайной величины за знак математического ожидания, получим:

Теорема 5. Математическое ожидание произведения двух случайных величин равно произведению их математических ожиданий плюс корреляцион­ный момент:

Доказательство. Будем исходить из определения корреляционного момента:

Здесь

Преобразуем это выражение, пользуясь свойствами математического ожидания:

что, очевидно, равносильно формуле (7.1.9). Если случайные величины (X, Y) некоррелированные (K_xy=0), то формула (7.1.10) принимает вид:

т.е. математическое ожидание произведения двух некоррелированных случайных величин равно произведению их математических ожиданий.

Формула представляет собой не что иное, как выражение второго смешанного центрального момента системы через второй смешанный начальный момент и математические ожидания:

Это выражение часто применяется на практике при вычислении корреляционного момента.

Теорема умножения математических ожиданий обобщается и на произвольное число сомножителей для независимых случайных величин и имеет вид:

т.е. математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

Это положение легко доказывается методом полной индукции.

Теоремы о дисперсии случайной величины.

Теорема 6. Неслучайную величину можно выносить за знак дисперсии, возводя ее в квадрат.

Если с — неслучайная величина, а X — случайная, то

Доказательство. По определению дисперсии

Следствие

т. е. неслучайную величину можно выносить за знак среднеквадратического отклонения ее абсолютным значением. Доказательство получим, извлекая корень квадратный из формулы и учиты­вая, что среднеквадратическое положительная величина.

Теорема 7.   Дисперсия неслучайной  величины равна нулю

Если с — неслучайная величина, то

, тогда

 

Теорема 8.Дисперсия суммы двух случайных величин равна сумме их диспер­сий плюс удвоенный корреляционный момент:

Доказательство. Обозначим

По теореме сложения математических ожиданий

Перейдем от случайных величин X,Y,Z к соответствующим центрированным величинам X,Y,Z. Вычитая почленно из равенства равенство имеем:

По определению дисперсии

что и требовалось доказать.

Формула для дисперсии суммы может быть обобщена на любое число слагаемых:

 

где Кij  — корреляционный момент величин X_i , X_j, знак i<j под суммой обозначает, что суммирование распространяется на все воз­можные попарные сочетания случайных величин (X₁ ,Х₂…..,Х_n).

Доказательство аналогично предыдущему и вытекает из формулы для квадрата многочлена.

Формула может быть записана еще в другом виде:

где двойная сумма распространяется на все элементы корреляционной матрицы системы величин (Х₁,Х₂,….Х_n), содержащей как корреляционные моменты, так и дисперсии.

Если все случайные величины (Х₁,Х₂,…,Х_п), входящие в систему, некоррелированы (т. е. Кij = 0 при ij). формула (7.2.7) принимает вид:

т.е. дисперсия суммы некоррелированных случайных величин равна сумме дисперсий слагаемых.

Это положение известно под названием теоремы сложения дисперсий.

Теорема 9. Дисперсия  линейной конбинации случайных величин определяется соотношением

где Кij— корреляционный момент величин Xi, Xj.

Доказательство. Введем обозначение:

Тогда

Применяя к правой части выражения формулу для дисперсии суммы и учитывая, что D[b] = 0, получим:

где  — корреляционный момент величин Yi, Yj.

Вычислим этот момент. Имеем:

аналогично

Отсюда

Подставляя это выражение в приходим к формуле

В частном случае, когда все величины (Х₁,Х₂,…,Х_n) некоррелированные, формула принимает вид:

т.е. дисперсия линейной функции некоррелированных случайных величин равна сумме произведений квадратов коэффициен­тов на дисперсии соответствующих аргументов).

Теорема 10. Дисперсия произведения независимых случайных величин определяется соотношением

Доказательство. Обозначим XY=Z. По определению дисперсии

Так как величины X, Y независимы, m_z = m_xm_y и

При независимых X, У величины Х², Y² тоже независимы следовательно,

и

Но М[X²] есть не что иное, как второй начальный момент величины X, и, следовательно, выражается через дисперсию:

аналогично

Подставляя выражения и в формулу и приводя подобные члены, приходим к формуле

В случае, когда перемножаются центрированные случайные величины (величины с математическими ожиданиями, равными нулю), формула принимает вид:

т.е. дисперсия произведения независимых центрированных случайных величин равна произведению их дисперсий.

Теорема о линейной зависимости случайных величин.

Теорема. Для линейной независимости двух случайных величин X и Y необходимо и достаточно, что бы .

Необходимость. Пусть , тогда . Определим

откуда

Подсчитаем коэффициент корреляции , получим

Достаточность.

Пусть . Для определенности положим

Введем в рассмотрение случайную величину ; ;  определим дисперсию случайной величины Z

что и требовалось доказать.

Характеристические функции.

Простое решение весьма многих задач теории вероятностей, особенно тех из них, которые связаны с суммированием независимых случайных величин, удается получить с помощью характеристических функций, теория которых развита в анализе и известна как преобразования Фурье.

Определение и простейшие свойства характеристических функций.

Определение 1. Характеристической функцией  случайной величины X называется математическое ожидание случайной величины , то есть

если X – дискретная случайная величина и известен ряд ее распределения, то

если X – непрерывная случайная величина с известной плотностью распределения f(x), то

Следует заметить, что ряд и интеграл  сходится абсолютно. Рассмотрим сходимость на примере интеграла

Теорема 1. Характеристическая функция равномерно непрерывна на всей прямой и удовлетворяет следующим соотношениям:

Доказательство. Соотношения немедленно вытекают из определения характеристической функции. Действительно, подставляя в  получим

Откуда .

Нам остается доказать равномерную непрерывность функции q(x). С этой целью рассмотрим разность

и оценим ее по модулю. Имеем:

Пусть  произвольно; выберем столь большое А, чтобы

и подберем столь малое h, чтобы для  выполнилось условие

Тогда, учитывая получаем

Это неравенство доказывает теорему.

Теорема  2.   Если , где a и b — постоянные, то

где  и    есть характеристические функции величин Y и X.

Доказательство. Действительно,

Теорема 3. Характеристическая функция суммы двух не­зависимых случайных величин равна произведению их харак­теристических функций.

Доказательство. Пусть X и Y — независимые случайные вели­чины и . Так как X и Y независимы, то случайные величины  и .Отсюда вытекает, что .

Это доказывает теорему.

Следствие. Если

причем каждое слагаемое независимо от суммы предыдущих, то характеристическая функция величины X равна произве­дению характеристических функций слагаемых.

Применение характеристических функций в значительной степени опирается на свойство, сформулированное в теореме 3. Сложение независимых случайных величин приводит к весьма сложной операции — композиции функций распределения слагаемых. Для характеристических функций эта сложная операция заменяется весьма простой — простым умножением характеристиче­ских функций.

Теорема 4(единственности). Распределения F(x),f(x) однозначно определяются своей характеристической функцией .

Обратное соответствие устанавливается, в частности, следующей формулой:

Теорема 5(непрерывности).

а) Если последовательность функций распределения  сходится к функции распределения F в точках ее непрерывности, то последователь­ность  соответствующих характеристических функций сходится к характеристической функции  распределения F.

б) Если последовательность характеристических функций  сходится всюду на R¹ к некоторой функции , непрерывной в точке t=0, то  есть характеристическая функция распределения F, при этом в точках непрерывности F функция распределения F является пределом последовательности распределений , соответствующей .