Законы распределения дискретных случайных величин

Законы распределения дискретных случайных величин. Законы распределения непрерывных случайных величин.

Биномиальное распределение

Рассмотрим дискретную случайную величину Х , которая принимает значения 0,1,2,…n с вероятностями

В схеме Бернулли: Х – число наступлений m раз события А в серии из n – независимых испытаний. Введем в рассмотрение производящую функцию, которая в данном случае имеет вид

Нетрудно заметить, что .

Придавая значение Z=1, получим

Подсчитаем числовые характеристики биномиального распределения:

1) математическое ожидание в соответствии с определением выражается формулой:

Найдем производную производящей функции:

Придавая значение Z=1, получим

Из соотношения (4.1.6) следует

Далее подсчитаем дисперсию по формуле . Второй начальный момент определяется формулой

Умножим производную производящей функции на z:

Дифференцируя полученное выражение, получим

и вычисляя при Z=1, получим

Из нетрудно заметить, что , тогда:

Если р–мало, а п–достаточно большое число, то формулой биномиального распределения пользоваться не удобно.

Теорема Пуассона

Теорема Пуассона. Если при , а , то

где

Доказательство. Очевидно, что

Сомножители начиная со второго до m-го и знаменатель последней дроби при , очевидно сходятся к единице. Выражение от n не зависит. Числитель дроби при сходится . Таким образом, предел:

Что и требовалось доказать.

Закон Пуассона.

Во многих задачах практики приходится иметь дело со случайными величинами, распределенными по закону, который называется законом Пуассона.

Рассмотрим дискретную случайную величину X, которая может принимать только целые, неотрицательные значения 0,1,2,....m,... причем последовательность этих значений теоретически не ограничена. Случайная величина Х распределена по закону Пуассона, если вероятность того, что она примет определенное значение т, выражается формулой

где а - некоторая положительная величина, называемая параметром закона Пуассона.

Ряд распределения случайной величины X имеет вид:

Табл.

xm	0	1	2	…	m	…
Pm	e-a			…		…

Убедимся прежде всего, что последовательность вероятностей, задаваемая формулой представляет собой ряд распределения. Имеем:

На рис. показаны многоугольники распределения случайной величины X, распределенной по закону Пуассона, соответствующие различным значениям параметра а.

Определим основные характеристики — математическое ожидание и дисперсию — случайной величины Х. По определению математического ожидания

Первый член суммы (соответствующий m=0) равен нулю, следовательно, суммирование можно начинать с m=1:

Обозначим m-1=k; тогда

Таким образом, параметр а представляет собой не что иное, как математическое ожидание случайной величины X.

Для определения дисперсии найдем сначала второй начальный момент:

По ранее доказанному

кроме того,

следовательно, .

Далее находим дисперсию случайной величины X: .

Таким образом, дисперсия случайной величины, распределенной по закону Пуассона, равна ее математическому ожиданию а..

Это свойство распределения Пуассона часто применяется на практике для решения вопроса, правдоподобна ли гипотеза о том, что случайная величина Х распределена по закону Пуассона. Равномерное распределение.

Рассмотрим непрерывную случайную величину X, подчиненную закону равномерной плотности на участке от до (рис. 4.4.2), и напишем для нее выражение плотности распределения f(х). Плотность f(х) постоянна и равна с на отрезке (;); вне этого отрезка она равна нулю:

Определим постоянную с из условия, получим

Тогда

Выражение для функции распределения F(х) равномерно распределенной случайной величины имеет вид:

График функции F(х) приведен на рис. 4.4.1. Определим основные числовые характеристики случайной величины X, подчиненной закону равномерной плотности на участке от до.

Математическое ожидание величины Х равно:

В силу симметричности равномерного распределения медиана величины Х также равна .

Моды закон равномерной плотности не имеет. Находим дисперсию величины X:

откуда среднеквадратическое отклонение . В силу симметричности распределения его асимметрия равна нулю:

Найдем вероятность попадания случайной величины X, распределенной по закону равномерной плотности, на участок (a,b), представляющий собой часть участка ()(рис. 4.4.3).

Геометрически эта вероятность представляет собой площадь, заштрихованную на рис. 4.4.3. Очевидно, она равна:

т. е. отношению длины отрезка ко всей длине участка , на котором задано равномерное распределение.

Показательное распределение.

Непрерывна случайная величина Х имеет показательный закон распределения, если ее функция распределения имеет вид

где - параметр распределения.

Плотность распределения определится соотношением:

Плотность распределения иллюстрируются следующим графиком:

Экспоненциальное распределение

Определим числовые характеристики случайной величины распределенной по показательному закону.

;

Нормальный закон распределения.

Нормальный закон распределения (закон Гаусса) играет исключительно важную роль в теории вероятностей и занимает среди других законов распределения особое положение. Это — наиболее часто встречающийся на практике закон распределения. Главная особенность, выделяющая нормальный закон среди других, состоит в том, что он является предельным, к которому приближаются другие законы распределения при весьма часто встречающихся условиях.

Можно доказать, что сумма достаточно большого числа независимых случайных величин, подчиненных каким угодно законам распределения (при соблюдении некоторых весьма нежестких ограничений), приближенно подчиняется нормальному закону, и это выполняется тем точнее, чем большее количество случайных величин суммируется. Большинство встречающихся на практике случайных величин, таких, например, как ошибки измерений, ошибки стрельбы и т. д., могут быть представлены как суммы весьма большого числа сравнительно малых слагаемых — элементарных ошибок, каждая из которых вызвана действием отдельной причины, не зависящей от остальных. Каким бы законам распределения ни были подчинены отдельные элементарные ошибки, особенности этих распределений в сумме большого числа слагаемых нивелируются, и сумма оказывается подчиненной закону, близкому к нормальному.

Нормальный закон распределения характеризуется плотностью вероятности вида:

Кривая распределения по нормальному закону имеет симметричный холмообразный вид (рис. 4.6.1). Максимальная ордината кривой, равная , соответствует точке X=т; по мере удаления от точки т плотность распределения уменьшается, и при кривая асимптотически приближается к оси абсцисс.

Выясним смысл параметров m и , входящих в выражение нормального закона; докажем, что величина т есть не что иное, как математическое ожидание, а величина — среднеквадратическое отклонение величины X. Для этого вычислим основные числовые характеристики случайной величины Х.

Применяя замену переменной, имеем:

Нетрудно убедиться, что первый из двух интервалов равен нулю; второй представляет собой известный интеграл Эйлера — Пуассона:

Следовательно,

Вычислим дисперсию величины X.

Применив снова замену переменной, имеем:

Интегрируя по частям, получим:

Первое слагаемое в фигурных скобках равно нулю (так как при убывает быстрее, чем возрастает любая степень t), второе слагаемое равно , откуда .

Следовательно, параметр есть не что иное, как среднеквадратическое отклонение величины X.

Из соотношения (4.6.1) следует, что центром симметрии распределения является центр рассеивания т. Это ясно из того, что при изменении знака разности (x - т) на обратный выражение не меняется. Если изменять центр рассеивания т кривая распределения будет смещаться вдоль оси абсцисс, не изменяя своей формы (рис. 4.6.2).

Параметр характеризует не положение, а самую форму кривой распределения. Это есть характеристика рассеивания. Наибольшая ордината кривой распределения обратно пропорциональна ; при увеличении максимальная ордината уменьшается.

На рис. 4.6.3 показаны три нормальные кривые (I, II, III) при m = 0; из них кривая I соответствует

самому большому, а кривая III — самому малому значению .

Размерность параметра , естественно, совпадает с размерностью случайной величины X.

Моменты нормального распределения.

Выше мы доказали, что математическое ожидание случайной величины, подчиненной нормальному закону , равно т, а среднеквадратическое отклонение равно .

Выведем общие формулы для центральных моментов любого порядка.

По определению:

Делая замену переменной

получим:

проинтегрируем по частям, получим

Имея в виду, что первый член внутри скобок равен нулю, получим:

Из формулы (4.6.6) имеем следующее выражение для :

следовательно

Формула (4.6.9) представляет собой простое рекуррентное соотношение, позволяющее выражать моменты высших порядков через моменты низших порядков. Пользуясь этой формулой и имея в виду, что и , можно вычислить центральные моменты всех порядков. Так как , то из формулы (4.6.9) следует, что все нечетные моменты нормального распределения равны нулю.

Для четных s из формулы (4.6.9) вытекают следующие выражения для последовательности моментов:

;;

Общая формула для момента s-го порядка при любом четном s имеет вид:

где под символам (s—1)!! понимается произведение всех нечетных чисел от 1 до s-1.

Так как для нормального закона , то асимметрия его также равна нулю:

Из выражения четвертого момента имеем:

, т. е. эксцесс нормального распределения равен нулю. Это и естественно, так как назначение эксцесса—характеризовать сравнительную крутость данного закона по сравнению с нормальным.

Вероятность попадания случайной величины, подчиненной нормальному закону, на заданный участок. Нормальная функция распределения.

Во многих задачах, связанных с нормально распределенными случайными величинами, приходится определять вероятность попадания случайной величины X на участок от до . Для вычисления этой вероятности воспользуемся общей формулой

где F(х) — функция распределения случайной величины X.

Найдем функцию распределения F(х) случайной величины X распределенной по нормальному закону с параметрами т,.

Сделаем в интеграле замену переменной и приведем его к виду:

Данный интеграл не выражается через элементарные функции, но его можно вычислить через специальную функцию, выражающую определенный интеграл от выражения или (так называемый интеграл вероятностей), для которого составлены таблицы. Существует много разновидностей таких функций, например:

и т.д.

Нетрудно видеть, что эта функция представляет собой не что иное, как функцию распределения для нормально распределенной случайной величины с параметрами m=0, =1.

Условимся называть функцию Ф*(х) нормальной функцией распределения. Очевидно, что

Теперь найдем вероятность попадания случайной величины Х на участок от до .

Таким образом, мы выразили вероятность попадания на интервал случайной величины X, распределенной по нормальному закону с любыми параметрами, через стандартную функцию распределения Ф*(х), соответствующую простейшему нормальному закону с параметрами 0,1.

Как и всякая функция распределения, функция Ф*(х) обладает свойствами:

1. Ф*()= 0.

2. Ф*()= 1.

3. Ф*(x) - неубывающая функция.

Кроме того, из симметричности нормального распределения с параметрами m=0, =1 относительно начала координат следует, что

На практике часто встречается задача вычисления вероятности попадания нормально распределенной случайной величины на участок, симметричный относительно центра рассеивания т. Рассмотрим такой участок длины 2l (рис. 4.6.4). Вычислим вероятность попадания на этот участок:

Учитывая свойство функции Ф*(х) и придавая левой части формулы более компактный вид, получим формулу для вероятности попадания случайной величины, распределенной по нормальному закону, на участок, симметричный относительно центра рассеивания:

Решим следующую задачу. Отложим от центра рассеивания т последовательные отрезки длиной (рис. 4.6.5) и вычислим вероятность попадания случайной величины Х в каждый из них. Так как кривая нормального закона симметрична, достаточно отложить такие отрезки только в одну сторону. По формуле находим:

Как видно из этих данных, вероятности попадания на каждый из следующих отрезков (пятый, шестой и т. д.) с точностью до 0,001 равны нулю.

Округляя вероятности попадания в отрезки до 0,01 (до 1%) получим три числа, которые легко запомнить:

0,34; 0,14; 0,01.

Сумма этих трех значений близка 0,5. Это значит, что для нормально распределенной случайной величины все рассеивание (с точностью до долей процента) укладывается на участке т ± 3.

Это позволяет, зная среднеквадратическое отклонение и математическое ожидание случайной величины, ориентировочно указать интервал ее практически возможных значений. Такой способ оценки диапазона возможных значений случайной величины известен в математической статистике под названием «правило трех сигма».

Понятие о системе случайных величин.

В практических приложениях теории вероятностей очень часто приходится сталкиваться с задачами, в которых результат опыта описывается двумя или более случайными величинами, образующими систему или вектор. Например, при стрельбе группой из п выстрелов совокупность точек попадания на плоскости может рассматриваться как система 2n случайных величин: п абсцисс и п ординат точек попадания. Условимся систему нескольких случайных величин называть случайным вектором и обозначать Х= (X1, Х2,...., Хn).

Свойства системы случайных величин (или случайного вектора) не исчерпываются свойствами отдельных компонент: помимо этого, они включают также взаимные связи (зависимости) между случайными компонентами.

При рассмотрении вопросов, связанных с системами случайных величин, удобно пользоваться геометрической интерпретацией системы. Например, систему двух случайных величин (X,Y) можно изображать случайной точкой на плоскости с координатами X и Y (рис. 5.1.1). Аналогично система трех случайных величин может быть изображена случайной точкой в трехмерном пространстве. Часто бывает удобно говорить о системе п случайных величин как о «случайной точке в пространстве п измерений». Вместо образа случайной точки для геометрической интерпретации системы случайных величин пользуются образом случайного вектора. Систему двух случайных величин при этом рассматривают как случайный вектор на плоскости хОу, составляющие которого по осям представляют собой случайные величины X, Y (рис. 5.1.2).

При этом теория систем случайных величин рассматривается как теория случайных векторов.

В данном курсе мы будем в зависимости от удобства изложения пользоваться как одной, так и другой интерпретацией.

Занимаясь изучением свойств случайных векторов, мы будем рассматривать как полные, исчерпывающие вероятностные характеристики — законы распределения, так и неполные — числовые характеристики.

Изложение начнем с наиболее простого случая системы двух случайных величин(двухмерного случайного вектора).

Функция распределения системы двух случайных величин.

Функцией распределения системы двух случайных величин (X,Y) называется вероятность совместного выполнения двух неравенств X<х и Y<у:

Если пользоваться для геометрической интерпретации системы образом случайной точки (случайного вектора), то функция распределения F(х,у) есть не что иное, как вероятность попадания случайной точки (X,Y) в бесконечный квадрант с вершиной в точке (х,у), лежащий левее и ниже ее (рис. 5.2.1).

Сформулируем свойства функции распределения системы случайных величин.

1. Функция распределения F(x,у) есть неубывающая функция обоих своих аргументов, т. е.

В этом свойстве функции F(х) можно наглядно убедиться, пользуясь геометрической интерпретацией функции распределения как вероятности попадания в квадрант с вершиной (х,у) (рис. 5.2.1). Действительно, увеличивая х (смещая правую границу квадранта вправо) или увеличивая у (смещая верхнюю границу вверх), мы, очевидно, не можем уменьшить вероятность попадания в этот квадрант.

2. Повсюду на функция распределения равна нулю:

F(x, ) = F(, y) = F(,) = 0.

В этом свойстве мы наглядно убеждаемся, неограниченно отодвигая влево правую границу квадранта (x ) или вниз его верхнюю границу (у) или делая это одновременно с обеими границами; при этом вероятность попадания в квадрант стремится к нулю.

3. При одном из аргументов, равном , функция распределения системы превращается в маргинальную функцию распределения случайной величины, соответствующей другому аргументу:

F (x, ) = F_l (x), F (, у) = F₂ (у),

где F₁(x), F₂(y) — соответственно маргинальные функции распределения случайных величин X и Y.

4. Если оба аргумента равны , функция распределения системы равна единице:

F(,) = 1

Действительно, при x, y квадрант с вершиной (х,у) в пределе обращается во всю плоскость хОу, попадание в которую есть достоверное событие.

Условимся событие, состоящее в попадании случайной точки (X, Y) в область D, обозначать символом (X, Y)D.

Вероятность попадания случайной точки в заданную область выражается наиболее просто в том случае, когда эта область представляет собой прямоугольник со сторонами, параллельными координатным осям.

Выразим через функцию распределения системы вероятность попадания случайной точки (X, Y) в прямоугольник R, ограниченный абсциссами и ординатами и (рис. 5.2.2).

Тогда событие (X,Y)R будет равносильно произведению двух событий: Х и Х. Выразим вероятность этого события через

функцию распределения системы. Для этого рассмотрим на плоскости хОу четыре бесконечных квадранта с вершинами в точках рис. 5.2.3.

Очевидно, вероятность попадания в прямоугольник R равна вероятности попадания в квадрант минус вероятность попадания в квадрант минус вероятность попадания в квадрант плюс вероятность попадания в квадрант (так как мы дважды вычли вероятность попадания в этот квадрант). Отсюда получаем формулу, выражающую вероятность попадания в прямоугольник через функцию распределения системы:

Плотность распределения системы двух случайных величин.

Важное практическое значение имеют системы непрерывных случайных величин(непрерывные случайные векторы).

Пусть имеется система двух непрерывных случайных величин (X, Y), которая интерпретируется случайной точкой на плоскости хОу. Рассмотрим на этой плоскости малый прямоугольник со сторонами и , примыкающий к точке с координатами (х,у) Вероятность попадания в этот прямоугольник равна

Разделим вероятность попадания в прямоугольник на площадь этого прямоугольника и перейдем к пределу при и :

Предположим, что функция F(x, у) не только непрерывна, но и дифференцируема; тогда правая часть формулы представляет собой вторую смешанную частную производную функции F(x, у) по х и у. Обозначим эту производную f(x, у):

Функция f(х,у) называется плотностью совместного распределения системы.

Геометрически функцию f(x,у) можно изобразить некоторой поверхностью (рис. 5.3.2). Эта поверхность аналогична кривой распределения для одной случайной величины и называется поверхностью распределения.

Если пересечь поверхность распределения f(х,у) плоскостью, параллельной плоскости хОу, и спроектировать полученное сечение на плоскость хОу, получится кривая, в каждой точке которой плотность распределения постоянна. Такие кривые называются кривыми равной плотности. Кривые равной плотности, очевидно, представляют собой горизонтали поверхности распределения.

Рассматривая плотность распределения f(х) для одной случайной величины, мы ввели понятие «элемента вероятности» f(x)dx.. Аналогичное понятие «элемента вероятности» вводится и для системы двух случайных величин. Элементом вероятности в данном случае называется выражение

Очевидно, элемент вероятности есть не что иное, как вероятность попадания в элементарный прямоугольник со сторонами dx,dy, примыкающий к точке (х,у) (рис. 5.3.1). Эта вероятность равна объему элементарного параллелепипеда, ограниченного сверху поверхностью f(x,у) и опирающегося на элементарный прямоугольник dx dy (рис. 5.3.3).

Пользуясь понятием элемента вероятности, выведем выражение для вероятности попадания случайной точки в произвольную область D. Эта вероятность, очевидно, может быть получена суммированием (интегрированием) элементов вероятности по всей области D:

Геометрически вероятность попадания в область D изображается объемом цилиндрического тела С, ограниченного сверху поверхностью распределения и опирающегося на область D (рис. 5.3.4).

Из обшей формулы (5.3.3) вытекает формула для вероятности попадания в прямоугольник R, ограниченный абсциссами и и ординатами и

Функция распределения F(x,у) есть вероятность попадания в бесконечный квадрант; последний можно рассматривать как прямоугольник, ограниченный абсциссами и х и ординатами и у.

Легко убедиться в следующих свойствах плотности распределения системы:

1. Плотность распределения системы есть функция неотрицательная:

Это ясно из того, что функция распределения является неубывающей функцией своих аргументов.

2. Двойной интеграл в бесконечных пределах от плотности распределения системы равен единице:

Законы распределения отдельных компонент, входящих в систему. Условные законы распределения.

Зная закон распределения системы двух случайных величин, можно всегда определить законы распределения отдельных компонент (маргинальные законы распределения), входящих в систему.

Выразим теперь маргинальные плотности распределения каждой из величин, входящих в систему, через плотность распределения системы.

дифференцируя по х соотношение (5.4.2), получим выражение для плотности распределения величины X:

Аналогично

Таким образом, для того чтобы получить плотность распределения одной из величин, входящих в систему, нужно плотность совместного распределения системы проинтегрировать в бесконечных пределах по аргументу, соответствующему другой случайной величине.

Зная закон распределения системы (заданный в виде функции распределения или плотности распределения), можно найти законы распределения отдельных величин, входящих в систему. Естественно, возникает вопрос об обратной задаче: нельзя ли по маргинальным законам распределения отдельных величин, входящих в систему, восстановить закон распределения системы? Оказывается, что в общем случае этого сделать нельзя, так как неизвестна зависимость между случайными компонентами. Эта зависимость может быть охарактеризована с помощью условных законов распределения.

Определение 1. Условным законом распределения величины X, входящей в систему (X,Y), называется ее закон распределения, определенный при условии, что другая случайная величина Y приняла значение у.

Условная функция распределения, обозначается F(x|y), условная плотность распределения f(x|y).

Чтобы усвоить понятие условного закона распределения, рассмотрим пример. Система случайных величин L и Q представляет собой длину и вес осколка снаряда. Пусть нас интересует длина осколка L безотносительно к его весу; это есть случайная величина, подчиненная закону распределения с плотностью f₁(l). Этот закон распределения мы можем исследовать, рассматривая все без исключения, осколки и оценивая их только по длине; f₁(l) есть безусловный закон распределения длины осколка. Однако нас может интересовать и закон распределения длины осколка вполне определенного веса, например 10 г. Для того чтобы его определить, мы будем исследовать не все осколки, а только определенную весовую группу, в которой вес приблизительно равен 10 г, и получим условный закон распределения длины осколка при весе 10 г с плотностью f₁(l|q) при q = 10. Этот условный закон распределения вообще отличается от безусловного f₁(l); очевидно, более тяжелые осколки должны в среднем обладать и большей длиной; следовательно, условный закон распределения длины осколка существенно зависит от веса q.

Зная закон распределения одной из величин, входящих в систему, и условный закон распределения второй, можно определить закон распределения системы. Для этого воспользуемся понятием элемента вероятности. Рассмотрим прилежащий к точке (х,у) элементарный прямоугольник R_d со сторонами dx,dy (рис. 5.4.1). Вероятность попадания в этот прямоугольник

— элемент вероятности f(x,у)dxdy — равна вероятности одновременного попадания случайной точки (X,Y) в элементарную полосу I, опирающуюся на отрезок dx, и в полосу II, опирающуюся на отрезок dy:

Вероятность произведения этих двух событий, по теореме умножения вероятностей, равна вероятности попадания в элементарную полосу I, умноженной на условную вероятность попадания в элементарную полосу II, вычисленную при условии, что первое событие имело место. Это условие в пределе равносильно условию X = х; следовательно,

откуда

т. е. плотность распределения системы двух величин равна плотности распределения одной из величин, входящих в систему, умноженной на условную плотность распределения другой величины, вычисленную при условии, что первая величина приняла заданное значение.

Формулу (5.4.5) часто называют теоремой умножения законов распределения. Эта теорема в схеме случайных величин аналогична теореме умножения вероятностей в схеме событий.

Очевидно, формуле (5.4.5) можно придать другой вид, если задать значение не величины X, а величины Y: ,

Разрешая формулы (5.4.5) и (5.4.6) относительно f(y|x) и f(x|y), получим выражения условных законов распределения через безусловные:

или

Зависимые и независимые случайные величины.

При изучении систем случайных величин всегда следует обращать внимание на степень и характер их зависимости. Эта зависимость может быть более или менее тесной.

Понятие о независимых случайных величинах — одно из важных понятий теории вероятностей.

Определение 1. Случайная величина Y называется независимой от случайной величины X, если закон распределения величины Y не зависит от того, какое значение приняла величина X.

Для непрерывных случайных величин условие независимости Y от X может быть записано в виде:

Напротив, в случае, если Y зависит от X, то

Докажем, что зависимость или независимость случайных величин всегда взаимны: если величина Y не зависит от X, то и величина X не зависит от Y.

Действительно, пусть Y не зависит от X, тогда

Плотность совместного распределения согласно (5.4.5) и (5.4.6) можно записать

откуда, получим:

что и требовалось доказать.

Так как зависимость и независимость случайных величин всегда взаимны, можно дать новое определение независимых случайных величин.

Определение 2. Случайные величины X и Y называются независимыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая. В противном случае величины X и Y называются зависимыми.

Для независимых непрерывных случайных величин теорема умножения законов распределения принимает вид:

т.е. плотность распределения системы независимых случайных величин равна произведению плотностей распределения отдельных величин, входящих в систему.

Остановимся, несколько подробнее на важных понятиях о «зависимости» и «независимости» случайных величин.

Понятие «зависимости» случайных величин, которым мы пользуемся в теории вероятностей, несколько отличается от обычного понятия «зависимости» величин, которым мы оперируем в математике. Действительно, обычно под «зависимостью» величин подразумевают только один тип зависимости—полную, жесткую, так называемую функциональную зависимость. Две величины X и Y называются функционально зависимыми, если, зная значение одной из них, можно точно указать значение другой.

В теории вероятностей мы встречаемся с другим, более общим, типом зависимости — с вероятностной или «стохастической» зависимостью. Если величина Y связана с величиной X вероятностной зависимостью, то, зная значение X, нельзя указать точно значение Y, а можно указать только ее закон распределения, зависящий от того, какое значение приняла величина X.

Вероятностная зависимость между случайными величинами очень часто встречается на практике. Если случайные величины X и Y находятся в вероятностной зависимости, это не означает, что с изменением величины X величина Y изменяется вполне определенным образом; это лишь означает, что с изменением величины X величина Y имеет тенденцию также изменяться (например, возрастать или убывать при возрастании X).

Рассмотрим, например, две такие случайные величины: X — рост наугад взятого человека, Y — его вес. Очевидно, величины X и Y находятся в определенной вероятностной зависимости; она выражается в том, что в общем люди с большим ростом имеют больший вес.

Числовые характеристики системы двух случайных величин.

Ранее в разделе 3.4. были введены числовые характеристики случайной величины важнейшими из которых являются моменты. Аналогичные числовые характеристики можно ввести и для системы двух случайных величин.

Начальным моментом порядка k,s системы (X,Y) называется

математическое ожидание произведения Xk на Ys:

Центральным моментом порядка k, s системы (X,Y) называется математическое ожидание произведения k-й и s-й степени соответствующих центрированных величин:

где

Запишем формулы для непосредственного подсчета моментов. Для дискретных случайных величин

где — вероятность того, что система (X,Y) примет значения , а суммирование распространяется по всем возможным значениям случайных величин X,Y.

Для непрерывных случайных величин:

где f(x, у) — плотность распределения системы.

Помимо чисел k и s, характеризующих порядок момента по отношению к отдельным величинам, рассматривается еще суммарный порядок момента k+s, равный сумме показателей степеней при X и Y. Соответственно суммарному порядку моменты классифицируются на первые, вторые и т. д. На практике обычно применяются только первые и вторые моменты.

Первые начальные моменты представляют собой уже известные нам математические ожидания величин X и Y, входящих в систему:

Совокупность математических ожиданий т_х, т_у представляет собой характеристику положения системы. Геометрически это координаты точки на плоскости, вокруг которой происходит рассеивание случайных точек (X,Y) будем называть вектором математических ожиданий.

Кроме первых начальных моментов, на практике широко применяются еще вторые центральные моменты системы. Два из них представляют собой уже известные нам дисперсии, величин X и Y.

характеризующие рассеивание случайной точки в направлении осей Ох и Оу, относительно вектора математических ожиданий.

Особую роль как характеристика системы играет второй смешанный центральный момент:

т.е. математическое ожидание произведения центрированных случайных величин. Ввиду того, что этот момент играет важную роль в теории систем случайных величин, введем для него особое обозначение:

Характеристика К_ху называется корреляционным моментом (иначе — «моментом связи») случайных величин X, Y.

Для дискретных случайных величин корреляционный момент выражается формулой

а для непрерывных — формулой

Выясним смысл и назначение этой характеристики.

Корреляционный момент есть характеристика системы случайных величин, описывающая рассеивание случайных величин X и Y, а так же вероятностную связь между ними. Для того чтобы убедиться в этом, докажем, что для независимых случайных величин корреляционный момент равен нулю.

Доказательство проведем для непрерывных случайных величин. Пусть X, Y — независимые непрерывные случайные величины с плотностью распределения f(x,у). Для независимых случайных величин

где — плотности распределения соответственно величин X и Y.

Интеграл

представляет собой не что иное, как первый центральный момент величины X, и, следовательно, равен нулю; по той же причине равен нулю и второй сомножитель; следовательно, для независимых случайных величин .

Таким образом, из независимости случайных величин X и Y следует их некоррелированность, если корреляционный момент двух случайных величин отличен от нуля, это есть признак наличия зависимости между ними.

Корреляционный момент характеризует не только зависимость величин, но и их рассеивание. Действительно, если, например, одна из величин (X,Y) весьма мало отклоняется от своего математического ожидания (почти не случайна), то корреляционный момент будет мал, какой бы тесной зависимостью ни были связаны величины (X,Y). Поэтому для характеристики связи между величинами (X,Y) в чистом виде переходят от момента К_хук безразмерной характеристике

где — среднеквадратические отклонения величин X,Y. Эта характеристика называется коэффициентом корреляции величин X и Y. Очевидно, коэффициент корреляции обращается в нуль одновременно с корреляционным моментом; следовательно, для независимых случайных величин, коэффициент корреляции равен нулю.

Случайные величины, для которых корреляционный момент (а значит, и коэффициент корреляции) равен нулю, называются некоррелированными (иногда — «несвязанными»).

Выясним, эквивалентно ли понятие некоррелированности случайных величин понятию независимости. Выше мы доказали, что две независимые случайные величины всегда являются некоррелированными. Остается выяснить: справедливо ли обратное положение, вытекает ли из некоррелированности величин их независимость? Оказывается — нет. Можно построить примеры таких случайных величин, которые являются некоррелированными, но зависимыми. Равенство нулю коэффициента корреляции — необходимое, но не достаточное условие независимости случайных величин.

Из некоррелированности величин еще не следует их независимость. Условие независимости случайных величин — более жесткое, чем условие некоррелированности.

Убедимся в этом на примере. Рассмотрим систему случайных величин (X,Y), распределенную с равномерной плотностью внутри круга С радиуса r с центром в начале координат (рис. 5.6.1).

Плотность распределения величин (X, Y) выражается формулой

тогда

Нетрудно убедиться, что в данном примере величины являются зависимыми. Действительно, если величина X приняла, например, значение 0, то величина Y может с равной вероятностью принимать все значения от -r до +r, если же величина X приняла значение r, то величина Y может принять только одно единственное значение, в точности равное нулю; вообще, диапазон возможных значений Y зависит от того, какое значение приняла X.

Таким образом, мы видим, что из некоррелированности случайных величин не всегда следует их независимость.

Коэффициент корреляции характеризует не всякую зависимость, а только так называемую линейную зависимость. Линейная вероятностная зависимость случайных величин заключается в том, что при возрастании одной случайной величины другая имеет тенденцию возрастать (или же убывать) по линейному закону. Коэффициент корреляции характеризует степень тесноты линейной зависимости между случайными величинами. Если случайные величины X и Y связаны линейной функциональной зависимостью: , то , причем знак «плюс» или «минус» берется в зависимости от того, положителен или отрицателен коэффициент а. В общем случае, когда величины X и Y связаны произвольной вероятностной зависимостью, коэффициент корреляции может иметь значение в пределах: .

В случае говорят о положительной корреляции величин X и Y, в случае — об отрицательной корреляции. Положительная корреляция между случайными величинами означает, что при возрастании одной из них другая имеет тенденцию в среднем возрастать; отрицательная корреляция означает, что при возрастании одной из случайных величин другая имеет тенденцию в среднем убывать.

Система произвольного числа случайных величин (случайные вектора).

Определение 1. Функцией распределения системы п случайных величин называется вероятность совместного выполнения п неравенств вида , то есть :

Определение 2. Плотностью распределения системы п непрерывных случайных величин называется n-я смешанная частная производная функции , взятая один раз по каждому аргументу:

Зная закон распределения системы, можно определить законы распределения отдельных величин, входящих в систему. Функция распределения каждой из величин, входящих в систему, получится, если в функции распределения системы положить все остальные аргументы равными :

Если выделить из системы величин подсистему , то функция распределения этой подсистемы определяется по формуле

Плотность распределения каждой из величин, входящих в систему, получится, если плотность распределения системы проинтегрировать в бесконечных пределах по всем остальным аргументам:

Плотность распределения подсистемы , выделенной из системы , равна:

Определение 3. Условным законом распределения подсистемы называется ее закон распределения, вычисленный при условии, что остальные величины приняли значения .

Условная плотность распределения ее может быть вычислена по формуле:

Случайные величины называются независимыми, если закон распределения каждой частной подсистемы, выделенной из системы , не зависит от того, какие значения приняли остальные случайные величины.

Плотность распределения системы независимых случайных величин равна произведению плотностей распределения отдельных величин, входящих в систему:

Вероятность попадания случайной точки в пределы n-мерной области D выражается n-кратным интегралом:

Эта формула по существу является основной формулой для вычисления вероятностей событий, не сводящихся к схеме случаев.

Числовые характеристики системы нескольких случайных величин.

Закон распределения системы (заданный функцией распределения или плотностью распределения) является полной, исчерпывающей характеристикой системы нескольких случайных величин. Иногда ограниченность экспериментального материала не дает возможности построить закон распределения системы. В других случаях исследование вопроса с помощью сравнительно громоздкого аппарата законов распределения не оправдывает себя в связи с невысокими требованиями к точности результата.

Во всех таких случаях вместо законов распределения применяют неполное, приближенное описание системы случайных величин с помощью минимального количества числовых характеристик.

Минимальное число характеристик, с помощью которых может быть охарактеризована система п случайных величин , сводится к следующему:

1) вектор математических ожиданий:

характеризующий средние значения компонент;

Здесь

2) вектор дисперсий

характеризующий рассеивание компонент;

Здесь

3) корреляционных моментов

где

характеризующих по парную корреляцию всех величин, входящих в систему.

Заметим, что дисперсия каждой из случайных величин Х_i есть, по существу, не что иное, как частный случай корреляционного момента, а именно:

Все корреляционные моменты и дисперсии удобно расположить в виде прямоугольной таблицы (называемой матрицей):

Эта таблица называется корреляционной матрицей системы случайных величин .

Очевидно, что не все члены корреляционной матрицы различны. Из определения корреляционного момента ясно, что , т. е. элементы корреляционной матрицы, расположенные симметрично по отношению к главной диагонали, равны. В связи с этим часто заполняется не вся корреляционная матрица, а лишь ее половина, считая от главной диагонали:

Корреляционную матрицу, составленную из элементов , часто сокращенно обозначают символом .

По главной диагонали корреляционной матрицы стоят дисперсии случайных величин .

В случае, когда случайные величины некоррелированны, все элементы корреляционной матрицы, кроме диагональных, равны нулю:

Такая матрица называется диагональной.

В целях наглядности суждения именно о коррелированности случайных величин пользуются нормированной корреляционной матрицей , составленной не из корреляционных моментов, а из коэффициентов корреляции: ; .

Все диагональные элементы этой матрицы, естественно, равны единице. Нормированная корреляционная матрица имеет вид:

Введем понятие о некоррелированных системах случайных величин. Рассмотрим две системы случайных величин: ; или два случайных вектора в n-мерном пространстве: X с составляющими и Y с составляющими .

Случайные векторы X и Y называются некоррелированными, если каждая из составляющих вектора X некоррелированная с каждой из составляющих вектора Y:

Закон распределения функции одного случайного аргумента.

Начнем с рассмотрения наиболее простой задачи о законе распределения функции одного случайного аргумента. Так как для практики наибольшее значение имеют непрерывные случайные величины, будем решать задачу именно для них.

Имеется непрерывная случайная величина X с плотностью распределения f(x). Другая случайная величина Y связана с нею функциональной зависимостью: .

Требуется найти плотность распределения величины Y. Рассмотрим участок оси абсцисс , на котором лежат все возможные значения величины X, т. е. .

Способ решения поставленной задачи зависит от поведения функции на участке : является ли она монотонной или нет.

В данном параграфе мы рассмотрим случай, когда функция на участке монотонна. При этом отдельно проанализируем два случая: монотонного возрастания и монотонного убывания функции.

1. Функция на участке монотонно возрастает (рис. 6.1.1). Когда величина X принимает различные значения на

участке , случайная точка (X, Y) перемещается только по кривой ; ордината этой случайной точки полностью определяется ее абсциссой.

Обозначим плотность распределения величины Y. Для того чтобы определить , найдем сначала функцию распределения величины Y: .

Проведем прямую АВ, параллельную оси абсцисс на расстоянии y от нее Чтобы выполнялось условие , случайная точка (X,Y) должна попасть на тот участок кривой, который лежит ниже прямой АВ; для этого необходимо и достаточно, чтобы случайная величина X попала на участок оси абсцисс от a до x, где x - абсцисса точки пересечения кривой и прямой АВ. Следовательно,

Так, как монотонная на участке , то существует обратная однозначная функция . Тогда

Дифференцируя интеграл (6.1.2) по переменной у, входящей в верхний предел, получим:

2. Функция на участке монотонно убывает В этом случае

откуда

Сравнивая формулы (6.1.3) и (6.1.5), замечаем, что они могут быть объединены в одну:

Действительно, когда возрастает, ее производная (а значит, и ) положительна. При убывающей функции производная отрицательна, но зато перед ней в формуле стоит минус. Следовательно, формула в которой производная берется по модулю, верна в обоих случаях.

3. Рассмотрим случай когда функция на участке возможных значений аргумента не монотонна (рис. 6.1.3).

Найдем функцию распределения G(y) величины Y. Для этого снова проведем прямую АВ, параллельную оси абсцисс, на расстоянии у от нее и выделим те участки кривой , на которых выполняется условие. Пусть этим участкам соответствуют участки оси абсцисс: .

Событие равносильно попаданию случайной величины X на один из участков - безразлично, на какой именно. Поэтому

Таким образом, для функции распределения величины имеем формулу:

Границы интервалов зависят от у и при заданном конкретном виде функции могут быть выражены как явные функции у. Дифференцируя G(y) по величине у, входящей в пределы интегралов, получим плотность распределения величины Y:

Пример. Величина X подчинена закону равномерной плотности на участке отдо .

Найти закон распределения величины .

Решение. Строим график функции (рис. 6.1.4). Очевидно , , и в интервале функция немонотонна. Применяя формулу (6.1.8), имеем:

Выразим пределы и через у: ; . Тогда

Чтобы найти плотность g(у) продифференцируем это выражение по переменной у, входящей в пределы интегралов, получим:

Имея в виду, что , получим:

Указывая для Y закон распределения (6.1.11), следует оговорить, что он действителен лишь в пределах от 0 до 1, т.е. в тех пределах, в которых изменяется при аргументе X, заключенном в интервале от , до . Вне этих пределов плотность g(у) равна нулю.

График функции g(у) дан на рис.6.1.5. При у=1 кривая g(у) имеет ветвь, уходящую на бесконечность.

Закон распределения функции двух случайных величин.

Изложим общий метод решения задачи для наиболее простого случая функции двух аргументов.

Имеется система двух непрерывных случайных величин (X,Y) с плотностью распределения f(x,y). Случайная величина Z связана с X и Y функциональной зависимостью:

Требуется найти закон распределения величины Z.

Для решения задачи воспользуемся геометрической интерпретацией. Функия изобразится уже не кривой, а поверхностью (рис. 6.2.1).

Найдем функцию распределения величины Z:

Проведем плоскость Q, параллельную плоскости хОу, на расстоянии z от нее. Эта плоскость пересечет поверхность по некоторой кривой К. Спроектируем кривую К на плоскость хОу. Эта проекция, уравнение которой , разделит плоскость хОу на две области; для одной из них высота поверхности над плоскостью хОу будет меньше, а для другой — больше z. Обозначим D ту область, для которой эта высота меньше z. Чтобы выполнялось неравенство (6.2.1), случайная точка (X,Y) очевидно, должна попасть в область D; следовательно,

В выражение (6.2.2) величина z входит неявно, через пределы интегрирования.

Дифференцируя G(z) по z, получим плотность распределения величины Z:

Зная конкретный вид функции , можно выразить пределы интегрирования через z и написать выражение g(z) в явном виде.

Закон распределения суммы двух случайных величин. Композиция законов распределения.

Воспользуемся изложенным выше общим методом для решения одной задачи, а именно для нахождения закона распределения суммы двух случайных величин. Имеется система двух случайных величин (X,Y) с плотностью распределения f(x,у). Рассмотрим сумму случайных величин X и Y: и найдем закон распределения величины Z. Для этого построим на плоскости хОу линию, уравнение которой (рис. 6.3.1). Это — прямая, отсекающая на осях отрезки, равные z. Прямая делит плоскость хОу на две части; правее и выше ее ; левее и ниже

Область D в данном случае — левая нижняя часть плоскости хОу, заштрихованная на рис. 6.3.1. Согласно формуле (6.3.2) имеем:

Дифференцируя это выражение по переменной z, входящей в верхний предел внутреннего интеграла, получим:

Это — общая формула для плотности распределения суммы двух случайных величин.

Из соображений симметричности задачи относительно X и Y можно написать другой вариант той же формулы:

который равносилен первому и может применяться вместо него.

Пример композиции нормальных законов. Рассмотрим две независимые случайные величины X и Y, подчиненные нормальным законам:

Требуется произвести композицию этих законов, т. е. найти закон распределения величины: .

Применим общую формулу для композиции законов распределения:

Если раскрыть скобки в показателе степени подынтегральной функции и привести подобные члены, получим:

Подставляя эти выражения в уже встречавшуюся нам формулу

после преобразований получим:

а это есть не что иное, как нормальный закон с центром рассеивания

и среднеквадратическим отклонением

К тому же выводу можно прийти значительно проще с помощью следующих качественных рассуждений.

Не раскрывая скобок и не производя преобразований в подынтегральной функции (6.3.3), сразу приходим к выводу, что показатель степени есть квадратный трехчлен относительно х вида

где в коэффициент А величина z не входит совсем, в коэффициент В входит в первой степени, а в коэффициент С — в квадрате. Имея это в виду и применяя формулу(6.3.4), приходим к заключению, что g(z) есть показательная функция, показатель степени которой — квадратный трехчлен относительно z, а плотность аспределения; такого вида соответствует нормальному закону. Таким образом, мы; приходим к чисто качественному выводу: закон распределения величины z должен быть нормальным. Чтобы найти параметры этого закона — и — воспользуемся теоремой сложения математических ожиданий и теоремой сложения дисперсий. По теореме сложения математических ожиданий . По теореме сложения дисперсий или откуда следует формула

Переходя от среднеквадратических отклонений к пропорциональным им вероятным отклонениям, получим: .

Таким образом, мы пришли к следующему правилу: при композиции нормальных законов получается снова нормальный закон, причем математические ожидания и дисперсии (или квадраты вероятных отклонений) суммируются.

Правило композиции нормальных законов может быть обобщено на случай произвольного числа независимых случайных величин.

Если имеется n независимых случайных величин: подчиненных нормальным законам с центрами рассеивания и среднеквадратическими отклонениями ,то величина также подчинена нормальному закону с параметрами

Вместо формулы (6.3.9) можно применять равносильную ей формулу:

Если система случайных величин (X, Y) распределена по нормальному закону, но величины X, Y зависимы, то нетрудно доказать, так же как раньше, исходя из общей формулы что закон распределения величины есть тоже нормальный закон. Центры рассеивания по-прежнему складываются алгебраически, но для среднеквадратических отклонений правило становится более сложным: , где, r — коэффициент корреляции величин X и Y.

При сложении нескольких зависимых случайных величин, подчиненных в своей совокупности нормальному закону, закон распределения суммы также оказывается нормальным с параметрами

или в вероятных отклонениях

где — коэффициент корреляции величин X_i, X_j, а суммирование распространяется на все различные попарные комбинации величин .

Мы убедились в весьма важном свойстве нормального закона: при композиции нормальных законов получается снова нормальный закон. Это — так называемое «свойство устойчивости». Закон распределения называется устойчивым, если при композиции двух законов этого типа получается снова закон того же типа. Выше мы показали, что нормальный закон является устойчивым. Свойством устойчивости обладают весьма немногие законы распределения. Закон равномерной плотности неустойчив: при композиции двух законов равномерной плотности на участках от 0 до 1 мы получили закон Симпсона.

Устойчивость нормального закона — одно из существенных условий его широкого распространения на практике. Однако свойством устойчивости, кроме нормального, обладают и некоторые другие законы распределения. Особенностью нормального закона является то, что при композиции достаточно большого числа практически произвольных законов распределения суммарный закон оказывается сколь угодно близок к нормальному вне зависимости от того, каковы были законы распределения слагаемых. Это можно проиллюстрировать, например, составляя композицию трех законов равномерной плотности на участках от 0 до 1. Получающийся при этом закон распределения g(z) изображен на рис. 6.3.1. Как видно из чертежа, график функции g(z) весьма напоминает график нормального закона.

Распределение произведения.

Пусть , где и — скалярные случайные величины с совместной плотностью распределения . Найдем распределение Y.

На рис. событие показано штриховкой. Теперь очевидно, что

Распределение квадрата случайной величины.

Пусть ; X — непрерыная случайная величина с плотностью . Найдем . Если , то и . В том случае, когда получаем:

В частном случае, когда , имеем:

Если при этом , , то

Распределение частного.

Пусть ; X — непрерывная случайная величина с плотностью . Найдем .

На рис. 6.6.1 видно, что событие — изображают заштрихованные области. Поэтому

Если ; ; независимы, то легко получить:

Распределение (6.6.4) носит имя Коши. Оказывается, это распределение не имеет математического ожидания и дисперсии.

Числовые характеристики функций случайных величин.

Рассмотрим следующую задачу: случайная величина Y есть функция нескольких случайных величин ;

Пусть нам известен закон распределения системы аргументов ; требуется найти числовые характеристики величины Y, в первую очередь—математическое ожидание и дисперсию.

Представим себе, что нам удалось найти закон распределения g(у) величины Y. Тогда задача об определении числовых характеристик становится простой; они находятся по формулам:

Однако задача нахождения закона распределения g(y) величины Y часто оказывается довольно сложной. Для решения поставленной задачи нахождение закона распределения величины Y не нужно: чтобы найти только числовые характеристики величины Y, нет надобности знать ее закон распределения; достаточно знать закон распределения аргументов .

Таким образом, возникает задача определения числовых характеристик функций случайных величин, не определяя законов распределения этих функций.

Рассмотрим задачу об определении числовых характеристик функции при заданном законе распределения аргументов. Начнем с самого простого случая — функции одного аргумента.

Имеется случайная величина X с заданным законом распределения; другая случайная величина Y связана с X функциональной зависимостью: Y= (Х).

Требуется, не находя закона распределения величины Y, определить ее математическое ожидание:

Рассмотрим сначала случай, когда X есть дискретная случайная величина с рядом распределения:

x_i	X₁	x₂	…	x_n
p_i	P₁	p₂	…	p_n

Запишем в виде таблицы возможные значения величины Y и вероятности этих значений:

( x_i)	( x₁)	( x₂)	…	( x_n)
p_i	P₁	P₂	…	p_n

Таблица 6.7.2 не является рядом распределения величины Y, так как в общем случае некоторые из значений

могут совпадать между собой. Для того чтобы от таблицы (6.7.1) перейти к подлинному ряду распределения величины Y, нужно было бы расположить значения (6.7.5) в порядке возрастания, объединить столбцы, соответствующие равным между собой значениям Y, и сложить соответствующие вероятности. Математическое ожидание величины Y можно определить по формуле

Очевидно, величина т_у — М((Х)), определяемая по формуле (6.7.6), не может измениться от того, что под знаком суммы некоторые члены будут объединены заранее, а порядок членов изменен.

В формуле (6.7.6) для математического ожидания функции не содержится в явном виде закона распределения самой функции, а содержится только закон распределения аргумента. Таким образом, для определения математического ожидания функции вовсе не требуется знать закон распределения этой функции, а достаточно знать закон распределения аргумента.

Заменяя в формуле сумму интегралом, а вероятность р_i— элементом вероятности, получим аналогичную формулу для непрерывной случайной величины:

где f(x) — плотность распределения величины X.

Аналогично может быть определено математическое ожидание функции у(Х,Y) от двух случайных аргументов X и Y. Для дискретных величин

где — вероятность того, что система (X,Y) примет значения (x_i y_j). Для непрерывных величин

где f(x, у) — плотность распределения системы (X, Y).

Аналогично определяется математическое ожидание функции от произвольного числа случайных аргументов. Приведем соответствующую формулу только для непрерывных величин:

где — плотность распределения системы .

Формулы типа (6.7.10) весьма часто встречаются в практическом применении теории вероятностей, когда речь идет об осреднении каких-либо величин, зависящих от ряда случайных аргументов.

Таким образом, математическое ожидание функции любого числа случайных аргументов может быть найдено помимо закона распределения функции. Аналогично могут быть найдены и другие числовые характеристики функции — моменты различных порядков. Так как каждый момент представляет собой математическое ожидание некоторой функции исследуемой случайной величины, то вычисление любого момента может быть осуществлено приемами, совершенно аналогичными вышеизложенным. Здесь мы приведем расчетные формулы только для дисперсии, причем лишь для случая непрерывных случайных аргументов.

Дисперсия функции одного случайного аргумента выражается формулой

где т=М[(x)] — математическое ожидание функции (X); f(х) — плотность распределения величины X.

Аналогично выражается дисперсия функции двух случайных аргументов:

где — математическое ожидание функции (Х,Y); f(x,у) — плотность распределения системы (X,Y). Наконец, в случае произвольного числа случайных аргументов, в аналогичных обозначениях:

Основные теоремы о математическом ожидании.

Мы изложим ряд теорем о числовых характеристиках случайных величин, применимый в широком круге условий.

Теорема 1. Математическое ожидание неслучайной величины равно самой величине

Доказать условие (7.1.1) можно, рассматривая неслучайную величину с как частный вид случайной, при одном возможном значении с вероятностью единица; тогда по общей формуле для математического ожидания:

Теорема 2. Неслучайную величину можно выносить за знак математического ожидания

Если с — неслучайная величина, а X — случайная, то

Доказательство.

а) Для дискретных случайных величин имеем:

6) Для непрерывных величин

Теорема 3. Математическое ожидание суммы двух случайных величин равно сумме их математических ожиданий.

Докажем, что для любых двух случайных величин X и Y

Это свойство известно под названием теоремы сложения математических ожиданий.

Доказательство.

а) Пусть (X,Y)— система дискретных случайных величин. Применим к сумме случайных величин общую формулу для математического ожидания функции двух аргументов:

Но представляет собой не что иное, как полную вероятность того, что величина X примет значение x_i:

следовательно,

Аналогично докажем, что

и теорема доказана.

б) Пусть (X,Y)— система непрерывных случайных величин.

Преобразуем первый из интегралов

аналогично

и теорема доказана.

Следует специально отметить, что теорема сложения математических ожиданий справедлива для любых случайных величин — как зависимых, так и независимых.

Теорема сложения математических ожиданий обобщается на произвольное число слагаемых:

т. е. математическое ожидание суммы нескольких случайных величин равно сумме их математических ожиданий.

Для доказательства достаточно применить метод полной индукции.

Теорема 4. Математическое ожидание линейной комбинации случайных величин равно той же линейной комбинации от математических ожиданий аргументов.

Рассмотрим линейную комбинации нескольких случайных аргументов Х₁, X₂,...,X_n:

где a_i ,b — неслучайные коэффициенты. Докажем, что

Доказательство. Пользуясь теоремой сложения математических ожиданий и правилом вынесения неслучайной величины за знак математического ожидания, получим:

Теорема 5. Математическое ожидание произведения двух случайных величин равно произведению их математических ожиданий плюс корреляционный момент:

Доказательство. Будем исходить из определения корреляционного момента:

Здесь

Преобразуем это выражение, пользуясь свойствами математического ожидания:

что, очевидно, равносильно формуле (7.1.9). Если случайные величины (X, Y) некоррелированные (K_xy=0), то формула (7.1.10) принимает вид:

т.е. математическое ожидание произведения двух некоррелированных случайных величин равно произведению их математических ожиданий.

Формула (7.1.10) представляет собой не что иное, как выражение второго смешанного центрального момента системы через второй смешанный начальный момент и математические ожидания:

Это выражение часто применяется на практике при вычислении корреляционного момента.

Теорема умножения математических ожиданий обобщается и на произвольное число сомножителей для независимых случайных величин и имеет вид:

т.е. математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

Это положение легко доказывается методом полной индукции.

Теоремы о дисперсии случайной величины.

Теорема 6. Неслучайную величину можно выносить за знак дисперсии, возводя ее в квадрат.

Если с — неслучайная величина, а X — случайная, то

Доказательство. По определению дисперсии

Следствие

т. е. неслучайную величину можно выносить за знак среднеквадратического отклонения ее абсолютным значением. Доказательство получим, извлекая корень квадратный из формулы (7.2.1) и учитывая, что среднеквадратическое положительная величина.

Теорема 7. Дисперсия неслучайной величины равна нулю

Если с — неслучайная величина, то

, тогда

Теорема 8.Дисперсия суммы двух случайных величин равна сумме их дисперсий плюс удвоенный корреляционный момент:

Доказательство. Обозначим

По теореме сложения математических ожиданий

Перейдем от случайных величин X,Y,Z к соответствующим центрированным величинам X,Y,Z. Вычитая почленно из равенства равенство имеем:

По определению дисперсии

что и требовалось доказать.

Формула для дисперсии суммы может быть обобщена на любое число слагаемых:

где Кij — корреляционный момент величин X_i, X_j, знак i<j под суммой обозначает, что суммирование распространяется на все возможные попарные сочетания случайных величин (X₁ ,Х₂.....,Х_n).

Доказательство аналогично предыдущему и вытекает из формулы для квадрата многочлена.

Формула может быть записана еще в другом виде:

где двойная сумма распространяется на все элементы корреляционной матрицы системы величин (Х₁,Х₂,....Х_n), содержащей как корреляционные моменты, так и дисперсии.

Если все случайные величины (Х₁,Х₂,...,Х_п), входящие в систему, некоррелированы (т. е. Кij = 0 при ij). формула (7.2.7) принимает вид:

т.е. дисперсия суммы некоррелированных случайных величин равна сумме дисперсий слагаемых.

Это положение известно под названием теоремы сложения дисперсий.

Теорема 9. Дисперсия линейной конбинации случайных величин определяется соотношением

где Кij— корреляционный момент величин Xi, Xj.

Доказательство. Введем обозначение:

Тогда

Применяя к правой части выражения формулу для дисперсии суммы и учитывая, что D[b] = 0, получим:

где — корреляционный момент величин Yi, Yj.

Вычислим этот момент. Имеем:

аналогично

Отсюда

Подставляя это выражение в приходим к формуле

В частном случае, когда все величины (Х₁,Х₂,...,Х_n) некоррелированные, формула принимает вид:

т.е. дисперсия линейной функции некоррелированных случайных величин равна сумме произведений квадратов коэффициентов на дисперсии соответствующих аргументов).

Теорема 10. Дисперсия произведения независимых случайных величин определяется соотношением

Доказательство. Обозначим XY=Z. По определению дисперсии

Так как величины X, Y независимы, m_z = m_xm_y и

При независимых X, У величины Х², Y²тоже независимы следовательно,

Но М[X²] есть не что иное, как второй начальный момент величины X, и, следовательно, выражается через дисперсию:

аналогично

Подставляя выражения и в формулу и приводя подобные члены, приходим к формуле

В случае, когда перемножаются центрированные случайные величины (величины с математическими ожиданиями, равными нулю), формула принимает вид:

т.е. дисперсия произведения независимых центрированных случайных величин равна произведению их дисперсий.

Теорема о линейной зависимости случайных величин.

Теорема. Для линейной независимости двух случайных величин X и Y необходимо и достаточно, что бы .

Необходимость. Пусть , тогда . Определим

откуда

Подсчитаем коэффициент корреляции , получим

Достаточность.

Пусть . Для определенности положим

Введем в рассмотрение случайную величину ; ; определим дисперсию случайной величины Z

что и требовалось доказать.

Характеристические функции.

Простое решение весьма многих задач теории вероятностей, особенно тех из них, которые связаны с суммированием независимых случайных величин, удается получить с помощью характеристических функций, теория которых развита в анализе и известна как преобразования Фурье.

Определение и простейшие свойства характеристических функций.

Определение 1. Характеристической функцией случайной величины X называется математическое ожидание случайной величины , то есть

если X – дискретная случайная величина и известен ряд ее распределения, то

если X – непрерывная случайная величина с известной плотностью распределения f(x), то

Следует заметить, что ряд и интеграл сходится абсолютно. Рассмотрим сходимость на примере интеграла

Теорема 1. Характеристическая функция равномерно непрерывна на всей прямой и удовлетворяет следующим соотношениям:

Доказательство. Соотношения (8.1.4) немедленно вытекают из определения характеристической функции. Действительно, подставляя в (8.1.3) получим

Откуда .

Нам остается доказать равномерную непрерывность функции q(x). С этой целью рассмотрим разность

и оценим ее по модулю. Имеем:

Пусть произвольно; выберем столь большое А, чтобы

и подберем столь малое h, чтобы для выполнилось условие

Тогда, учитывая (8.1.6) и (8.1.7) получаем

Это неравенство доказывает теорему.

Теорема 2. Если , где a и b — постоянные, то

где и есть характеристические функции величин Y и X.

Доказательство. Действительно,

Теорема 3. Характеристическая функция суммы двух независимых случайных величин равна произведению их характеристических функций.

Доказательство. Пусть X и Y — независимые случайные величины и . Так как X и Y независимы, то случайные величины и .Отсюда вытекает, что .

Это доказывает теорему.

Следствие. Если

причем каждое слагаемое независимо от суммы предыдущих, то характеристическая функция величины X равна произведению характеристических функций слагаемых.

Применение характеристических функций в значительной степени опирается на свойство, сформулированное в теореме 3. Сложение независимых случайных величин приводит к весьма сложной операции — композиции функций распределения слагаемых. Для характеристических функций эта сложная операция заменяется весьма простой — простым умножением характеристических функций.

Теорема 4(единственности). Распределения F(x),f(x) однозначно определяются своей характеристической функцией .

Обратное соответствие устанавливается, в частности, следующей формулой:

Теорема 5(непрерывности).

а) Если последовательность функций распределения сходится к функции распределения F в точках ее непрерывности, то последовательность соответствующих характеристических функций сходится к характеристической функции распределения F.

б) Если последовательность характеристических функций сходится всюду на R¹ к некоторой функции , непрерывной в точке t=0, то есть характеристическая функция распределения F, при этом в точках непрерывности F функция распределения F является пределом последовательности распределений , соответствующей .

Теорема 6. Если случайная величина X имеет абсолютный момент п-го порядка, то характеристическая функция величины X дифференцируема п раз и при

Доказательство. Действительно, k - кратное () формальное дифференцирование характеристической функции приводит к равенству

Но

и, следовательно, в силу предположения теоремы ограничен. Отсюда следует существование интеграла и законность дифференцирования. Положив в t=0, получим:

Математическое ожидание и дисперсия весьма просто выражаются при помощи производных от логарифма характеристической функции. В самом деле, положим . Тогда

Приняв во внимание, что q_x(0)=1 и равенство (8.1.11), находим:

Отсюда

Производная k-го порядка логарифма характеристической функции в точке 0, умноженная на , называется семиинвариантом k-го порядка случайной величины.

Как это непосредственно следует из теоремы 3, при сложении независимых случайных величин их семиинварианты складываются.

Мы только что видели, что первыми двумя семиинвариантами являются математическое ожидание и дисперсия, т. е. момент первого порядка и некоторая рациональная функция моментов первого и второго порядков. Путем вычислений легко убедиться, что семиинвариант любого порядка k есть (целая) рациональная функция первых k моментов. Для примера приведем явные выражения семиинвариантов третьего и четвертого порядков:

Рассмотрим теперь несколько примеров характеристических функций.

Пример 1. Случайная величина X распределена по нормальному закону с математическим ожиданием а и дисперсией . Характеристическая функция величины равна

Подстановкой

приводится к виду

Известно, что при любом вещественном a

следовательно.

В частном случае, когда , то есть a=0, а =1, то характеристическая функция имеет вид .

Пример 2. Найти характеристическую функцию случайной величины X, распределенной по закону Пуассона.

Согласно предположению, случайная величина X принимает только целочисленные значения, причем

где — постоянная. Характеристическая функция величины X равна

отсюда находим:

Предельные теоремы для характеристических функций.

Важнейшими с точки зрения приложений характеристических функций к выводу асимптотических формул теории вероятностей являются две предельные теоремы — прямая и обратная. Эти теоремы устанавливают, что соответствие, существующее между функциями распределения и характеристическими функциями, не только взаимно однозначно, но и непрерывно. Формулировки теорем приведем без доказательства.

Прямая предельная теорема. Если последовательность функций распределения

сходится в основном к функции распределения F(х), то последовательность характеристических функций

сходится к характеристической функции q_x(t). Эта сходимость равномерна в каждом конечном интервале t.

Обратная предельная теорема. Если последовательность характеристических функций

сходится к непрерывной функции q_x(t), то последовательность функций распределения

сходится в основном к некоторой функции распределения F(x).

Заметим, что условия теоремы выполнены в каждом из двух следующих случаев:

1) Последовательность характеристических функций сходится к некоторой функции q_x(t) равномерно в каждом конечном интервале t.

2) Последовательность характеристических функций сходится к характеристической функции q_x(t).

Предельные теоремы для случайных величин.

В курсе теории вероятностей указывалось, что математические законы теории вероятностей получены абстрагированием реальных статистических закономерностей, свойственных массовым случайным явлениям. Свойство устойчивости массовых случайных явлений известно человечеству еще с глубокой древности. Именно эта устойчивость средних и представляет собой физическое содержание «закона больших чисел», понимаемого в широком смысле слова: при очень большом числе случайных явлений средний их результат практически перестает быть случайным и может быть предсказан с большой степенью определенности.

Закон больших чисел играет важную роль в практических применениях теории вероятностей. Свойство случайных величин при определенных условиях вести себя практически как не случайные позволяет уверенно оперировать с этими величинами, предсказывать результаты массовых случайных явлений почти с полной определенностью.

Возможности таких предсказаний в области массовых случайных явлений еще больше расширяются наличием другой группы предельных теорем, касающихся уже не предельных значений случайных величин, а предельных законов распределения. Речь идет о группе теорем, известных под названием «центральной предельной теоремы». Мы уже говорили о том, что при суммировании достаточно большого числа случайных величин закон распределения суммы неограниченно приближается к нормальному при соблюдении некоторых условий.

Различные формы закона больших чисел вместе с различными формами центральной предельной теоремы образуют совокупность так называемых предельных теорем теории вероятностей. Прежде чем рассматривать предельные теоремы теории вероятностей рассмотрим виды сходимости после последовательностей случайных величин, так как сходимость для случайных величин отлична от сходимостей простых числовых последовательностей.