ВЕРОЯТНОСТЕЙ ТЕОРИЯ

Содержание статьи

• ЭЛЕМЕНТАРНАЯ ТЕОРИЯ
• Перестановки и сочетания.
• СОВРЕМЕННАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
• Пространство элементарных событий.
• Закон больших чисел и предельные теоремы.
• Условные вероятности и случайные процессы.
• Броуновское движение и его обобщения – диффузионные процессы и процессы с независимыми приращениями.
• Мартингалы.
• Стационарные процессы.

ВЕРОЯТНОСТЕЙ ТЕОРИЯ занимается изучением событий, наступление которых достоверно неизвестно. Она позволяет судить о разумности ожидания наступления одних событий по сравнению с другими, хотя приписывание численных значений вероятностям событий часто бывает излишним или невозможным. Согласно П.Лапласу, внесшему, пожалуй, наибольший вклад в развитие теории вероятностей, она «по существу представляет собой не что иное, как здравый смысл, сведенный к вычислениям». Слово «вероятно», его синонимы и производные от него могут употребляться в различных значениях. Примерами некоторых из них являются следующие утверждения: «Возможно, завтра будет дождь», «Вероятно, теория естественного отбора Дарвина верна» и «Если я брошу монету 100 раз, то, вероятно, что она выпадет вверх „орлом" от 40 до 60 раз». Математическая теория вероятностей имеет дело с утверждениями, аналогичными последнему.

ЭЛЕМЕНТАРНАЯ ТЕОРИЯ

В очень простых ситуациях интуитивно ясно, каким образом можно приписать вероятности отдельным событиям. Например, если в коробку положить 8 красных и 2 белых фишки для игры в покер и хорошенько потрясти ее, то представляется более вероятным, что, извлеченная из коробки, наудачу, фишка окажется красной; и действительно, вероятность извлечь красную фишку в четыре раза больше вероятности извлечь белую фишку. Так как это испытание (извлечение из коробки первой фишки) имеет 10 возможных исходов, из которых 8 приходится на долю красных фишек, то доля благоприятных исходов подсказывает, что вероятность извлечь красную фишку составляет 8/10 или 4/5. Ту же самую ситуацию нередко формулируют иначе, говоря, что шансы вынуть красную фишку равны 4 к 1; шансы p к q означают, что какое-то событие происходит с вероятностью p/(p + q). Аналогично при бросании симметричной игральной кости выпадению любой грани естественно приписать вероятность 1/6, а если мы бросаем симметричную монету, то любой из исходов – выпадение «орла» или «решки» – имеет вероятность 1/2.

Но стоит перейти к более сложным событиям, как помощь со стороны интуиции становится менее надежной. Предположим, что мы бросаем две симметричные монеты. Существуют три возможных исхода: два «орла», две «решки» или «орел» и «решка». Большинство людей, поразмыслив, согласятся с тем, что этим исходам нельзя приписывать одну и ту же вероятность, поскольку два «орла» могут выпасть только в том случае, если первая монета выпадет вверх «орлом» и вторая монета также выпадет вверх «орлом», в то время как комбинация «орел» и «решка» возможна и если первая монета выпадет вверх «орлом», а вторая – вверх «решкой», и если первая монета выпадет вверх «решкой», а вторая – вверх «орлом». Короче говоря, анализ показывает, что трем возможным исходам бросаний двух монет следует приписать вероятности 1/4, 1/4 и 1/2. Корректность такого подхода можно подтвердить бросанием реальных монет в той же степени, в какой физические эксперименты подтверждают большинство законов природы. В более сложных ситуациях интуиция окончательно отказывает, и для того, чтобы правильно приписать ту или иную вероятность сложному событию, требуется некий математический инструмент ее подсчета. Вычисление вероятностей тесно связано с комбинаторным анализом, посвященным подсчету числа способов, которыми можно разместить те или иные объекты, или количества тех или иных событий, которые могут произойти при различных условиях.

Элементарные вероятности определяются отношением числа случаев, при которых происходит интересующее нас событие (благоприятный исход), к общему числу случаев. Например, две игральные кости могут выпасть 36 способами, из которых только в 6 случаях сумма выпавших очков равна 7, поэтому вероятность выпадения 7 очков на двух костях равна 1/6.

Два события, которые не могут происходить одновременно, называются взаимоисключающими. Например, при однократном бросании игральной кости 5 очков и 6 очков одновременно выпасть не могут. Вероятность того, что произойдет одно или другое взаимоисключающее событие, равна сумме вероятностей этих событий. Например, вероятность того, что при однократном бросании кости выпадет либо 5, либо 6 очков, равна 1/6 + 1/6 = 1/3.

Вероятность достоверного события (которое заведомо наступит) принимается равной 1, а вероятность события, наступление которого невозможно, считается равной 0. Очевидно, что наступление и ненаступление данного события взаимно исключают друг друга, а потому, если вероятность наступления какого-нибудь события равна p, то вероятность его ненаступления будет 1 – p. Однако в более сложных задачах, когда число возможных исходов бесконечно велико, вероятность нельзя задать с помощью простого перечисления всех возможных случаев. Например, если мы представим себе испытание, состоящее в бесконечной серии бросаний симметричной монеты, то ситуация, когда во всех бросаниях выпадают только «орлы», в принципе не невозможна, хотя такому исходу необходимо приписать вероятность, равную 0, так как в высшей степени «невероятно», чтобы в любой достаточно длинной серии бросаний выпадали только «орлы».

Для детального анализа вероятностных задач, более сложных, чем простые азартные игры, необходима более строгая и абстрактная формулировка. Именно она и будет рассмотрена ниже.

Основной принцип комбинаторного анализа гласит: если что-либо одно можно осуществить m способами, а нечто другое – n способами, то эти действия последовательно можно осуществить mґn способами. Например, обычно торшеры выпускаются с одной большой лампой, которая может работать в трех режимах или быть выключенной, и тремя лампами поменьше, которые можно включать по 0, 1, 2 или 3. Таким образом, у торшера всего 4ґ4 = 16 рабочих режимов (в одном из них все лампы выключены), поэтому правильнее было бы говорить, что торшер можно включать 15-ю различными способами, а не 16-ю, как иногда пишут в рекламных объявлениях.

Четверых людей можно выстроить в ряд 4ґ3ґ2ґ1 = 24 способами, так как первого можно выбрать 4 способами, второго – 3 способами, третьего – 2 способами, а четвертого – только одним. Но четырех людей можно посадить в четыре автобуса 4ґ4ґ4ґ4 = 256 способами, так как каждый из них может сесть в любой из четырех автобусов.

Перестановки и сочетания.

Многие задачи теории вероятностей удается проанализировать, если воспользоваться некоторыми следствиями из приведенного выше комбинаторного принципа. Размещение предметов в определенном порядке называется перестановкой этих предметов. Например, существуют шесть перестановок чисел 1, 2, 3, а именно: 1, 2, 3; 1, 3, 2; 2, 1, 3; 2, 3, 1; 3, 1, 2; 3, 2, 1. Число перестановок из n предметов равно 1ґ2ґ3ґ ј ґn. Сокращенно это число записывается как n! (и читается как «факториал числа n» или «n факториал»).

Любое размещение предметов, порядок которых не имеет значения, называется сочетанием. Из набора чисел 1, 2, 3, 4, 5 можно извлечь десятью различными способами любые два числа, если мы условимся не различать пары, состоящие из одних и тех же чисел, взятых в различном порядке, т.е., например, не различать 1, 2 и 2, 1. Если из двенадцати человек нужно выбрать комитет в составе девяти членов, то это можно сделать столькими способами, сколько сочетаний из двенадцати по девять мы можем составить. Это, естественно, относится к случаю, когда сам порядок размещения членов внутри комитета несуществен. Однако число разных баскетбольных команд, которые можно составить из тех же двенадцати человек, равно числу перестановок из девяти элементов, которые можно набрать из этих двенадцати, так как в баскетбольной команде каждый игрок имеет свой номер. Вторая задача для анализа проще: существуют 12ґ11ґ10ґ9ґ8ґ7ґ6ґ5ґ4 перестановок, так как первый номер можно выбрать 12 различными способами, второй номер – 11 способами и т.д., пока мы не дойдем до последнего, девятого, номера, который может быть выбран четырьмя способами. В первой задаче любая из 9! перестановок девяти членов комитета приводит к одному и тому же составу комитета, так как состав комитета не зависит от того, в каком порядке перечислять его членов; иначе говоря, число перестановок 12ґ11ґ10ґ9ґ8ґ7ґ6ґ5ґ4 дает ответ, который в 9! раз больше, чем нужно. Следовательно, число сочетаний из двенадцати человек по девять равно указанному произведению, деленному на 9!, или

В общем случае число сочетаний из n по r равно n (n – 1)(n – 2) ј (n – r + 1)/r! или n!/r!(n – r)! Это число называется биномиальным коэффициентом (см. также НЬЮТОНА БИНОМ).

Еще один полезный принцип состоит в утверждении, что n предметов можно разложить в r коробок rⁿ различными способами, если в любой коробке может находиться любое число предметов. Чтобы убедиться в этом, заметим, что первый предмет можно положить в любую из r коробок, после чего второй предмет также можно положить в любую из r коробок и т.д. Таким образом, n предметов можно разложить способами.

Обратимся теперь к некоторым приложениям этих принципов.

1) Какова вероятность выпадения ровно двух шестерок при пяти бросаниях игральной кости (или, что то же, при одном бросании пяти костей)? Пять костей могут выпасть 6⁵ способами. Две кости, на которых выпали шестерки, можно выбрать способами (сочетания появляются потому, что порядок, в котором выпадают шестерки, несуществен), т.е. (5ґ4ґ3ґ2ґ1)/((2ґ1) ґ (3ґ2ґ1)) = 10 способами. Нешестерки (их 5: 1, 2, 3, 4 и 5 очков) на остальных 3 костях могут выпасть 5³ способами. Следовательно, мы получаем ровно две шестерки из пяти бросаний 10ґ5³ способами; искомая вероятность, таким образом, равна 10ґ5³/6⁵ или 1250/7776, т.е. ок. 1/6. Вероятность выпадения не менее двух шестерок при пяти бросаниях кости несколько больше; она равна сумме вероятностей взаимоисключающих событий – выпадения ровно 2, 3, 4, 5 или 6 шестерок при 5 бросаниях.

2) Какова вероятность получить ровно два туза, если из колоды, состоящей из 52, извлекаются 5 карт? Извлечь из колоды 5 карт можно способами. Пять карт, из которых два туза, а остальные три – нетузы, можно получить, извлекая два туза способами, а три нетуза – способами. Искомая вероятность равна

Последовательное применение такого рода рассуждений иногда приводит к удивительным заключениям.

3) Какова вероятность совпадения дней рождения по крайней мере у двух из 23 случайно выбранных людей? Если предположить, что существует 365 равновероятных возможных дней рождения, то дни рождения 23 людей могут распределиться (365)²³ способами. Число способов, которыми можно распределить по дням года не совпадающие дни рождения 23 людей, равно 365ґ364ґ363ґ ј ґ(365 – 22), так как после того, как мы выберем день года, на который приходится день рождения первого из них, у нас останется только 364 дня для выбора дня рождения второго, и т.д. Вероятность несовпадения всех 23 дней рождения равна отношению второго числа к первому. Вероятность же совпадения по крайней мере двух дней рождения равна 1 минус вероятность полного несовпадения всех 23 дней рождения. Таким образом, ответ нашей задачи равен

что чуть больше 1/2. Если вы выберете наугад 23 (или более) человека, то с большей вероятностью обнаружите, что по крайней мере у двоих дни рождения совпадают, чем то, что все 23 (или более) дня рождения приходятся на различные дни года. Разумеется, вероятность того, что дни рождения двух людей приходятся на 4 июля или на какой-нибудь другой заранее выбранный день, гораздо меньше.

4) Если n писем разложить наугад в n конвертов (по одному письму в конверт), то какова вероятность того, что по крайней мере одно письмо попадет в конверт с правильным адресом? Легче найти вероятность того, что ни одно письмо не попадет в конверт с правильным адресом, а затем вычесть ее из 1. Разложить n писем в n конвертов можно n! способами. Из этого общего числа способов необходимо вычесть число тех вариантов, при которых первое письмо попадает в 1-й конверт, все способы, при которых второе письмо попадает во 2-й конверт и т.д. Письмо, которое будет вложено в конверт с правильным адресом, можно выбрать n способами; остальные n – 1 письмо можно вложить в n – 1 конверт (n – 1)! способами, поэтому общее число вариантов размещения писем по конвертам равно nґ(n – 1)! = n! Вычитая это число из общего числа возможных вариантов размещения писем по конвертам, равного n!, мы не оставляем ни одного варианта. Но в действительности мы вычитаем слишком много, так как вариант, в котором, например, первое письмо попадает в 1-й конверт, а второе письмо – во 2-й, мы вычитаем дважды. Чтобы найти, сколько вариантов мы вычли слишком большое число раз, заметим, что существует C_n² = n (n – 1)/2! пар писем, и если письма, образующие пару, вложены в конверты с правильными адресами, то остальные n – 2 письма можно распределить по конвертам [n (n – 1)/2!]ґ[ (n – 2)!] способами, т.е. n!/2! способами. Прибавив число способов распределения писем в конверты, при которых два письма вложены в свои конверты, мы получим всего n! – n! + n!/2! вариантов размещения писем по конвертам. Но теперь это слишком много, так как все варианты, при которых в свои конверты вложены три письма, не были учтены (мы вычли число таких вариантов трижды, а затем прибавили его столько раз, сколько пар писем можно образовать из трех писем, т.е. тоже три раза). Следовательно, мы должны вычесть число способов, которыми можно вложить в конверты с правильными адресами три письма, т.е. C_n³ґ(n – 3)! = n!/3! способов. Далее надлежит учесть, что мы вычли слишком много раз число способов, которыми можно вложить в конверты с правильными адресами четыре письма и т.д. Таким образом, число способов, которыми письма можно разложить по конвертам так, что ни одно письмо не окажется в конверте с правильным адресом, равно n! – n! + n!/2! – n!/3! + ... + (–1)ⁿ + 1n!/n!, а вероятность этого события равна этому числу, деленному на n!, т.е. равна числу 1 – 1 + 1/2! – 1/3! +... + (–1)ⁿ + 1 1/n! Следовательно, вероятность того, что по крайней мере одно письмо окажется в конверте с правильным адресом равна

При больших значениях n эта величина почти не зависит от n и равна 0,632 (с точностью до трех цифр после запятой) при n і 6; 0,633 при n = 5; 0,625 при n = 4 и 0,667 при n = 3. Таким образом (переходя к другой, аналогичной задаче), если выкладывать по одной на стол карты из двух тщательно перетасованных колод, то выкладываемые на стол карты совпадут с вероятностью почти 2/3 по крайней мере один раз. Это утверждение верно, если в каждой колоде более двух карт.

СОВРЕМЕННАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Современная теория вероятностей, подобно другим разделам математики, например геометрии, состоит из результатов, выводимых логическим путем из некоторых основных утверждений, или аксиом, и приложений к ситуациям в реальной жизни, относительно которых предполагается, что они согласуются с аксиомами. Трудность теории вероятностей заключается в том, что объекты, составляющие предмет ее изучения, носят гораздо более общий характер и поэтому не столь наглядны, как, например, объекты геометрии или механики. Теория вероятностей занимается изучением событий и их вероятностей, представляемых числами, заключенными в интервале от 0 до 1. В случае исторически знаменитых задач, связанных с азартными играми, можно интуитивно понять, как должна быть сформулирована соответствующая математическая задача. Такая задача обычно имела следующий вид: заданы вероятности некоторых элементарных событий; требуется вычислить вероятность какого-нибудь более сложного события, связанного с элементарными событиями некоторым простым образом. Прежде чем мы более подробно представим современную теорию, полезно проиллюстрировать интуитивную теорию и ее методы на примере.

Вычислим вероятность того, что некоторому игроку в бридж достанется один или несколько тузов. В качестве элементарных событий удобно рассматривать получение на руки возможных вариантов из 13 карт. Необходимо, чтобы распределение вероятностей между наборами имеющихся у игроков карт, т.е. элементарными событиями, отражало наше убеждение в том, что карты сдавались весьма специальным образом, а именно случайно. Постулат, который мы примем, сводится к определению того, что мы понимаем под случайной сдачей карт. Мы постулируем, что любой набор из 13 карт, который может достаться игроку при раздаче, равновероятен. Какова эта вероятность? Ответ на этот вопрос может дать интуитивно очевидный принцип, служащий основным методом теории вероятностей: если имеется несколько взаимоисключающих событий (таких, что каждый раз происходит только одно из них), то вероятность того, что произойдет по крайней мере одно из них, равна сумме вероятностей каждого из событий в отдельности. Кроме того, потребуем, чтобы вероятность события, которое заведомо происходит, была равна единице.

Сделанные замечания позволяют решить нашу задачу. Пусть n – число различных вариантов наборов карт, которые может получить игрок, A₁, A₂, ј, A_n – события, соответствующие получению каждого из этих наборов, и P(A₁), P(A₂), ј, P(A_n) – вероятности этих событий. Пусть A – событие, состоящее в том, что игрок получает набор карт, содержащий один или несколько тузов, и m – число наборов из 13 карт, каждый из которых содержит один или несколько тузов, B₁, B₂, ј, B_m – события, соответствующие получению такого набора. Тогда A – событие, состоящее в том, что наступает одно из множества событий B₁, B₂, ј, B_m. Наконец, пусть P (A) – вероятность события A. Так как события A₁, A₂, ј, A_n равновероятные и взаимоисключающие, причем одно из них достоверно происходит, то

и, следовательно,

Аналогично,

в силу чего окончательно получаем

Этот результат сводит исходную задачу к чисто комбинаторной задаче нахождения чисел m и n. Последняя легко решается с помощью теории перестановок и сочетаний, некогда бывшей существенной частью теории вероятностей, но ныне таковой не являющейся. Число n есть просто число способов, которыми можно выбрать 13 карт из 52. Используя стандартные обозначения, находим

Вместо числа m проще найти число (n – m) – число наборов из 13 карт, не содержащих ни одного туза, или число способов, которыми можно выбрать 13 карт из 48:

Следовательно,

Было бы ошибкой полагать, что решение любой вероятностной задачи всегда можно представить в виде простого отношения двух чисел вида P (A) = m/n. Приведенное рассуждение показывает, что такое отношение (числа благоприятных случаев к общему числу случаев) выражает вероятность, которую требуется найти, если элементарные события равновероятны.

По-видимому, наиболее важной ситуацией, в которой изложенный выше метод неприменим, является биномиальное распределение вероятностей. Представим себе, что некоторое испытание проводится n раз, причем каждый раз его исход может быть либо благоприятным У («успех»), либо неблагоприятным Н («неудача»). Элементарными событиями можно считать все возможные последовательности У и Н (их общее число равно 2ⁿ), каждая такая последовательность содержит n символов. В этом случае вероятности элементарных событий невозможно вывести из постулата о равновероятности всех последовательностей из n символов, содержащих одинаковое количество У и Н. Их невозможно получить и из дополнительного постулата о том, что вероятность отдельного благоприятного исхода равна p, а вероятность одного неблагоприятного исхода равна 1 – p. Необходимо также в явном виде указать, каким образом вероятность будущих исходов испытаний зависит от прошлых исходов. Простейшее предположение состоит в том, что будущие исходы не зависят от прошлых, что довольно часто встречается на практике. Его можно формально выразить, постулировав, что вероятность любой заданной последовательности У и Н равна произведению вероятностей отдельных исходов. При таких предположениях вероятность, например, последовательности исходов УУУНУНН равна p⁴(1 – p)³. Нетрудно показать, что в общем случае вероятность получения ровно k благоприятных исходов в n испытаниях равна

Рассматриваемые нами простые методы и идеи решают большой круг различных задач, имеющих практическое значение почти во всех областях современной жизни. Например, теория статистического выборочного метода служит основой столь разных приложений, как опросы общественного мнения и контроль качества продукции на современных промышленных предприятиях. В современном естествознании простые комбинаторные задачи теории вероятностей занимают центральное место в кинетической теории газов, в классической (менделевской) и современной генетике.

Наконец, невозможно переоценить внутренние связи теории вероятностей с другими областями математики. В 1908 Э.Борель опубликовал работу, имевшую важное значение для последующего развития теории вероятностей. В этой работе он показал, что задачу о последовательных независимых испытаниях, которую мы рассматривали выше, можно интерпретировать как задачу из теории чисел. Если произвольное действительное число x, лежащее между 0 и 1, разложить в двоичную дробь, то цифры такого разложения (нули и единицы) ведут себя так же, как символы У и Н, о которых шла речь выше: они имеют вероятности p = ¹/₂ и независимы. (Результат Бореля, грубо говоря, состоит в том, что в двоичном разложении почти любого числа x доли нулей и единиц равны.) Как это часто бывает в науке, связь, установленная между, казалось бы, далекими друг от друга теориями, оказалась необычайно ценной. Работа Бореля способствовала построению современной аксиоматической теории вероятностей, предложенной 20 годами позднее А.Н.Колмогоровым, которую мы рассмотрим в следующем разделе. Затем будет показано, каким образом теория вероятностей позволяет проверять адекватность данной модели той реальной ситуации, которую она призвана представлять. Ответ на этот вопрос дается с помощью закона больших чисел, который был поставлен Борелем на прочный и не вызывающий сомнений фундамент. И в заключение мы рассмотрим временне последовательности случайных событий (стохастические процессы).

Пространство элементарных событий.

В теории множеств запись A B («объединение» множеств A и B) обозначает множество элементов (точек), принадлежащих множеству A, или множеству B, или множествам A и B одновременно, а запись A B («пересечение» множеств A и B) – множество, элементы которого принадлежат множествам A и B одновременно. Запись A₁A₂ј A_n, или сокращенно , означает «объединение» n множеств A₁, A₂, ј, A_n; аналогично, означает объединение бесконечной последовательности множеств A₁, A₂, ј; означает «пересечение» n множеств A₁, A₂, ј, A_n, а – «пересечение» бесконечной последовательности множеств. Наконец, C (A) («дополнение» множества A) означает множество всех элементов, не принадлежащих множеству A (см. также МНОЖЕСТВ ТЕОРИЯ).

Подобно тому, как в геометрии для строгой формулировки задачи необходимо построить пространство неопределяемых далее объектов, называемых точками, прямыми и т.д., которые удовлетворяют определенным аксиомам, формулировка вероятностной задачи требует введения пространства, называемого пространством элементарных событий, элементы которого могут быть произвольной природы и различными в разных задачах. (Хотя мы используем геометрический язык, пространство элементарных событий, как правило, не является пространством в обычном смысле; см. также АБСТРАКТНЫЕ ПРОСТРАНСТВА.) Обозначим пространство элементарных событий (или элементарных исходов) через W, его подмножества – через A, B, C, ј и некоторую совокупность подмножеств из W – через . Совокупность подмножеств выбирается, исходя из следующих постулатов: W должно принадлежать ; вместе с каждой бесконечной последовательностью A₁, A₂, ј множеств из совокупности должны принадлежать и ; для каждого A из совокупности должно принадлежать и C (A).

Вероятностная интерпретация этих аксиом заключается в следующем: совокупность подмножеств (событий) должна быть достаточно велика, чтобы содержать события A₁, A₂, ј, а также достоверное событие W, событие , состоящее в том, что происходят все события A_i, и событие , состоящее в том, что происходит по крайней мере одно событие из A_i, и C(A) – событие, состоящее в том, что событие A не происходит.

Такова первая часть системы аксиом. Остальные аксиомы относятся к действительнозначной функции P (A), которая называется «вероятностью» множества (события) A и определена для любого A из . Она должна удовлетворять условиям: 0 Ј P (A) Ј 1 для любого A из ; P (W) = 1 и если A₁, A₂, ј – последовательность множеств из , такая, что объединение A_i A_j пусто при любом i, отличном от j, то

Самый важный частный случай последнего из перечисленных условий соответствует выбору A₁ = A, A₂ = B, а все остальные A_i = C (W) (пустому множеству). Условие при этом сводится к тому, что пересечение A B – пустое множество. В свою очередь это означает, что A и B не могут происходить одновременно, или что события A и B «взаимоисключающие». Условие

означает, что вероятность наступления одного из двух взаимоисключающих событий равна сумме их вероятностей.

Система, удовлетворяющая принятым аксиомам относительно тройки (W,, P), называется вероятностным пространством и с точки зрения математика является частным случаем системы аксиом современной теории интегрирования или теории меры (см. также ФУНКЦИЙ ТЕОРИЯ).

В вероятностном пространстве (W,, P) может существовать пара (или много пар) событий A и B из , таких, что

О двух событиях A и B, обладающих этим свойством, говорят, что они «независимы». Независимость некоторых пар событий может быть интуитивно очевидной и даже служить своего рода путеводной нитью при построении вероятностного пространства. Так было, когда мы предположили, что вероятность следующих друг за другом исходов последовательных У и Н в серии испытаний равна произведению вероятностей отдельных событий У и Н. В более сложных моделях проверка независимости может быть сопряжена с определенными трудностями, но обычно позволяет по-новому взглянуть на ситуацию, представленную с помощью пространства элементарных событий.

Чтобы проиллюстрировать изложенную выше теорию, рассмотрим задачи, которые были приведены ранее. В качестве пространства элементарных событий для игры в бридж проще всего принять пространство W всех n = взяток, а в качестве – совокупность всех подмножеств из W. В примере с серией испытаний проще всего выбрать за W множество всех серий длины n, состоящих из двух символов, а в качестве – снова совокупность всех подмножеств из W. Таким образом, любое событие определяется тем, что происходит при одном или нескольких из n испытаний из . Тем не менее такого конечного пространства элементарных событий недостаточно для описания всех возможных случаев. Чтобы пояснить это обстоятельство, приведем несколько примеров.

Пример 1. Найти вероятность наступления первого У после k испытаний. Заметим, что ни одно конечное пространство элементарных событий не охватывает все k. Однако можно построить бесконечное пространство элементарных событий, которого будет достаточно для любого k. (В этом случае W состоит из всех возможных бесконечных последовательностей У и Н, но оказывается очень сложным.) Пусть p_k – вероятность того, что первый исход У наступает при k-м испытании. Можно показать, что p_k = (1 – p)^k – 1p. Кроме того, используя бесконечное пространство элементарных событий, можно показать, что наступление рано или поздно У – достоверное событие, если p > 0. Это обстоятельство находит отражение в том, что . Решение нашей задачи о вероятности того, что первый исход У наступает после k испытаний, дается формулой

Пример 2. Найти вероятность того, что при некотором k происходит «выравнивание», т.е. число исходов У становится равным числу исходов Н. В этой задаче бесконечное пространство элементарных событий работает уже на «всю мощь», так как в любом конечном пространстве элементарных событий такое явление, как наступление рано или поздно выравнивания, не наблюдается. Можно показать, что вероятность происходящего в конце концов выравнивания равна 1 – |1 – 2p|. Отсюда мы заключаем, что такое выравнивание достоверно тогда и только тогда, когда вероятности У и Н равны.

С предыдущими задачами тесно связана важная вероятностная модель, известная под названием «случайного блуждания» на целых числах. Наглядно это можно представить так: частица, которая при t = 0 находится в точке 0, совершает скачок (переход) в момент времени 1 либо в точку +1 (с вероятностью p), либо в точку –1 (с вероятностью (1 – p)). Следовательно, если частица в момент времени n оказывается в точке k, то в момент времени n + 1 она с вероятностью p переходит в точку k + 1 и с вероятностью 1 – p – в точку k – 1. Из примера 2 следует, что возвращение в исходную точку достоверно тогда и только тогда, когда p = ¹/₂, т.е. в случае т.н. симметричного случайного блуждания. Модификации и обобщения задачи о случайном блуждании представляют интерес не только в задачах, связанных с азартными играми (состояние в момент времени n в таких задачах можно интерпретировать как денежную сумму, которой располагает игрок в этот момент времени; можно поинтересоваться, например, какова вероятность, что игрок выиграет некоторую сумму денег прежде, чем проиграет свой начальный капитал); случайные блуждания имеют первостепенное значение для т.н. последовательного статистического анализа, самой общей теории проверки статистических гипотез.

Некоторые из описанных выше случайных явлений могут быть естественным образом представлены действительнозначными величинами, такими как X – количество исходов У в серии из n испытаний или Y – количество испытаний до наступления первого исхода У в той же серии испытаний. Важнейшее достижение аксиоматической формулировки теории вероятностей состоит в том, что она предлагает простой способ изучения таких величин, называемых случайными величинами. Случайные величины можно определить как функции, заданные на пространстве элементарных событий (действительно, для каждой точки пространства W случайная величина X имеет заданное значение), и производить над ними многие обычные операции математического анализа, такие как сложение, умножение и даже интегрирование. Интеграл от случайной величины Z (принимающей целочисленные значения) можно определить как сумму

E(Z) называется «математическим ожиданием» случайной величины Z. Например, определенные выше случайные величины X и Y имеют математические ожидания

На интуитивном уровне понятие случайной величины достаточно ясно, так что оно довольно часто возникает еще до построения пространства элементарных событий. Ученый может заниматься изучением некоторой величины X, значения которой случайны либо из-за наличия экспериментальной ошибки (как в физических измерениях), либо потому, что эксперимент проводится на одном случайно выбранном элементе некоторой совокупности, состоящей из многих аналогичных элементов (например, рост какого-либо представителя расово однородной популяции взрослых или срок службы одного из изделий, выбранных из партии изделий массового производства, например плавких предохранителей, произведенных в одинаковых условиях). Возникает необходимость построить пространство элементарных событий, содержащее любое событие вида X Ј x, где x принимает действительные значения. Это можно сделать, и вероятность такого события F(x) = P{X Ј x} называется функцией распределения случайной величины X. Понятие функции распределения играет важную роль, поскольку позволяет определить математическое ожидание случайной величины X через F(x) с помощью интегрирования. Дисперсия случайной величины X определяется как

и служит удобной мерой разброса, так как равна нулю тогда и только тогда, когда случайная величина X постоянна.

Две случайные величины X₁ и X₂, определенные на одном и том же пространстве элементарных событий, называются «независимыми», если каждое событие вида X₁Ј x не зависит от любого события вида X₂Ј x, где x – любое действительное число. Важное значение имеют следующие теоремы: для любых двух случайных величин с конечными математическими ожиданиями

для любых двух независимых случайных величин с конечными дисперсиями

и, наконец, неравенство Чебышева, которое утверждает, что при любом e < 0

Помимо грубой оценки вероятности больших отклонений, это неравенство лежит в основе доказательства закона больших чисел, который мы сформулируем в следующем разделе.

Закон больших чисел и предельные теоремы.

Определенное в предыдущем разделе математическое ожидание случайной величины играет важную роль в теории вероятностей и ее приложениях. Объясняется это тем, что большинству случайных явлений присущи закономерности, которые проявляются при больших значениях n. Иначе говоря, можно показать, что хотя исход одного испытания может быть случайным и поэтому непредсказуемым, некоторые свойства исходов длинной серии одинаковых независимых испытаний можно предсказать с достаточно большой точностью.

Рассмотрим пример. Пусть S_n – число благоприятных исходов в серии из n независимых испытаний, причем вероятность каждого благоприятного исхода равна p. Так называемый слабый закон больших чисел (сформулированный Я.Бернулли и опубликованный в «Искусстве предположений» в 1713 его братом И.Бернулли) утверждает, что при любом e > 0

Эту теорему можно обобщить, если представить S_n как сумму независимых случайных величин

где X_k равна 1 или 0 в зависимости от того, будет ли исход k-го испытания благоприятным или неблагоприятным. Кроме того,

что позволяет записать теорему Бернулли в виде

при любом e > 0.

Известно, что этот результат остается в силе для произвольной последовательности X₁, X₂,... таких независимых случайных величин с конечным математическим ожиданием. Следовательно, математическое ожидание случайной величины можно оценить со сколь угодно малой вероятностью ошибки, превышающей e, с помощью последовательности выборочных средних (X₁ + X₂ + ј +X_n)/n при больших n.

Такого рода задачи относятся к области статистики, которая позволяет ответить и на многие другие вопросы. Располагая достаточно большим числом независимых наблюдений случайной величины X с (неизвестной) функцией распределения F (X), можно оценить F(X) одновременно для всех значений X с произвольно малой вероятностью того, что ошибка при любом значении X превосходит e.

Так как выборочные средние при общих условиях стремятся к некоторому числу (математическому ожиданию), естественно исследовать поведение разности между выборочным средним и математическим ожиданием при больших n. Пусть X₁, X₂, ј – одинаково распределенные независимые случайные величины с математическим ожиданием m и дисперсией s2. Тогда величина

имеет математическое ожидание nm и дисперсию ns 2. Таким образом, вместо исходной последовательности случайных величин можно изучать последовательность случайных величин

с нулевым математическим ожиданием и дисперсией равной 1. Центральная предельная теорема, частный случай которой был известен еще А.де Муавру в 1732 для независимых случайных величин X_k, принимающих с вероятностью p значение 1 и с вероятностью (1 – p) значение 0, утверждает, что

Функция f(x) называется функцией нормального или гауссовского распределения. Центральная предельная теорема и некоторые ее обобщения справедливы и для неодинаково распределенных случайных величин, что позволяет дать разумное эмпирическое объяснение, почему столь многие явления в окружающем нас мире имеют гауссовское или почти гауссовское распределение. Дело в том, что многие количественные явления представляют собой суммы многих малых независимых или почти независимых случайных величин.

Исторически центральная предельная теорема была первым и, по-видимому, наиболее важным результатом такого типа, однако она дает лишь одно из многих возможных предельных распределений, которые могут быть получены с помощью соответствующей нормировки (стандартизации) сумм или функционал от сумм независимых случайных величин. Наши знания в этой области теории вероятностей далеко не полны.

Условные вероятности и случайные процессы.

Понятие условной вероятности имеет неоценимое значение для упоминавшегося ранее обобщения модели случайного блуждания. В этом случае необходимо определить вероятность того, что в момент времени t + 1 частица будет находиться во множестве состояний E при условии, что в момент времени t она находилась в состоянии k. Такая вероятность называется «условной» и определяется следующим общим правилом: если A и B – множества из , принадлежащие вероятностному пространству (W,, P), и если P (B) > 0, то условная вероятность события A при условии, что событие B наступило, обозначается P (A|B) и определяется по формуле

Заметим, что A и B независимы, если P (A|B) = P (A).

Простейший тип случайного процесса можно представить себе как случайное движение по N точкам (состояниям). Пусть p_jk – условная вероятность того, что частица будет находиться в момент времени t + 1 в состоянии k при условии, что в момент времени t она находится в состоянии j. Числа p_jk, не зависящие от t, называются вероятностями переходов (или переходными вероятностями). Такой случайный процесс (или случайное движение) называется «цепью Маркова», если дополнительно предполагается, что состояние в момент времени t + 1 не зависит от состояний в моменты времени 0, 1, 2, ј, t – 1, при условии, что состояние в момент времени t известно.

Вероятности одношаговых переходов удобно интерпретировать как элементы матрицы r = (p_jk) размером NґN, j, k = 1, 2, ј, N. Здесь r называется матрицей переходов, а сумма элементов в каждой строке равна 1. Используя обычное умножение матриц, матричные элементы r-й степени матрицы r можно определить как

Вычисления на основе определения условных вероятностей показывают, что числа представляют вероятности r-шагового перехода в цепи Маркова. Их можно представить следующим образом:

С практической точки зрения важно знать, что происходит с такой системой по истечении длительного промежутка времени. И снова, хотя отдельные переходы носят случайный характер, долговременное поведение цепи Маркова предсказуемо. Чтобы устранить возможность того, что некоторые состояния никогда не будут достигнуты, мы примем дополнительное ограничительное предположение, согласно которому все p_jk положительны. Для такой цепи Маркова (называемой «эргодической» или «возвратной») справедлива следующая теорема, называемая «эргодической теоремой»:

При r ® Ґ вероятность перехода стремится к некоторому числу pk, не зависящему от j и такому, что 0 < pk < 1 при каждом k; и pj являются решением системы уравнений

Распределение pk называется стационарным распределением цепи Маркова. Величина pk является также пределом математического ожидания доли времени, которое частица проводит в состоянии k, а pk^–1 – математическое ожидание промежутков времени между повторными возвращениями частицы в состояние k.

Поясним примером смысл приведенной выше теоремы. Пусть в каждой из двух урн U₁ и U₂ находится по N шаров. Половина шаров белые, другая половина – черные. Определим состояние системы в момент времени r как число белых шаров в урне U₁ в момент времени r. Переход совершается путем выбора наугад по одному шару из каждой урны и переносу его в другую урну. Матрица переходов легко вычисляется. Хотя некоторые ее элементы равны нулю, можно показать, что условия приведенной выше теоремы выполняются. Стационарное распределение pk оказывается таким, какое мы получили бы, если бы N шаров были извлечены наугад из урны U₂ и помещены в урну U₁, причем с вероятностью pk в U₁ находились бы k белых шаров.

Цепи Маркова служат хорошим введением в теорию случайных процессов, т.е. теорию простых последовательностей семейств случайных величин, обычно зависящих от параметра, который в большинстве приложений играет роль времени. Она предназначена, главным образом, для полного описания как долговременного, так и локального поведения процесса. Ниже приведены три наиболее изученных вопроса.

Броуновское движение и его обобщения – диффузионные процессы и процессы с независимыми приращениями.

Теория случайных процессов способствовала углублению связи между теорией вероятностей, теорией операторов и теорией дифференциальных уравнений, что, помимо прочего, имело важное значение для физики и других приложений. К числу приложений относятся процессы, представляющие интерес для актуарной (страховой) математики, теории массового обслуживания, генетики, регулирования дорожного движения, теории электрических цепей, а также теории учета и накопления товаров.

Мартингалы.

Эти процессы сохраняют достаточно свойств цепей Маркова, чтобы для них оставались в силе важные эргодические теоремы. От цепей Маркова мартингалы отличаются тем, что когда текущее состояние известно, только математическое ожидание будущего, но необязательно само распределение вероятностей, не зависит от прошлого. Помимо того, что теория мартингалов представляет собой важный инструмент для исследования, она обогатила новыми предельными теоремами теорию случайных процессов, возникающих в статистике, теории деления атомного ядра, генетике и теории информации.

Стационарные процессы.

Самая старая из известных эргодических теорем (сформулированная Дж.Биркгофом и Дж.фон Нейманом в 1930) может быть интерпретирована как результат, описывающий предельное поведение стационарного случайного процесса. Такой процесс обладает тем свойством, что все вероятностные законы, которым он удовлетворяет, остаются инвариантными относительно сдвигов по времени. Эргодическую теорему, впервые сформулированную физиками в качестве гипотезы, можно представить как утверждение о том, что при определенных условиях среднее по ансамблю совпадает со средним по времени. Это означает, что одну и ту же информацию можно получить из долговременного наблюдения за системой и из одновременного (и одномоментного) наблюдения многих независимых копий той же самой системы. Закон больших чисел есть не что иное, как частный случай эргодической теоремы Биркгофа. Интерполяция и предсказание поведения стационарных гауссовских процессов, понимаемых в широком смысле, служат важным обобщением классической теории наименьших квадратов. Теория стационарных процессов – необходимое орудие исследования во многих областях, например, в теории связи, которая занимается изучением и созданием систем, передающих сообщения при наличии шума или случайных помех.