независимы, т. е. когда

 .          (3.916)

Рассмотрим в этом случае функции

 ,          (3.917)

где ? и ? распределены независимо. Пусть нам известна сумма m (t)+n(t) в интервале (— А, А). Сколько у нас тогда информации об m (t)? Заметим, что, по эвристическому суждению, это количество информации не должно слишком отличаться от количества информации о функции

           (3.918)

которым мы располагаем, когда нам известны все значения выражения

 ,          (3.919)

где ? и ? имеют независимые распределения. Можно, однако, показать, что n-й коэффициент Фурье для выражения (3.918) имеет гауссово распределение, независимое от всех других коэффициентов Фурье, и что его [c.152] среднеквадратическое значение пропорционально величине

           (3.920)

Следовательно, в силу (3.09) полное количество информации об М равно

 ,          (3.921)

а временная плотность передачи энергии равна этой величине, деленной на 2А. Если А>?, то выражение (3.921) стремится к

 .          (3.922)

Именно этот результат и был получен автором и Шенноном для скорости передачи информации в рассматриваемом случае. Как видим, эта величина зависит не только от ширины полосы частот, которой мы располагаем для передачи сообщения, но и от уровня шума. В действительности она обнаруживает прямую связь с аудиограммами, применяемыми для измерения величины слуха и потери его у данного индивидуума. В аудиограмме абсциссой служит частота, ординатой нижней границы — логарифм порога слышимой силы звука (мы можем назвать его логарифмом внутреннего шума принимающей системы), а ординатой верхней границы — логарифм наибольшей силы звука, которую система может пропустить. Площадь между ними, представляющая величину такой же размерности, как выражение (3.922), принимается за меру скорости передачи информации, с которой ухо способно справиться. [c.153]

Теория сообщений, линейно зависящих от броунова движения, имеет много важных вариантов. Основными являются формулы (3.88), (3.914) и (3.922), разумеется, вместе с определениями, необходимыми для их понимания. Существует ряд вариантов этой теории. Прежде всего она дает нам наилучший возможный синтез предсказывающих устройств и волновых фильтров в случае, когда сообщения и шумы представляют собой реакции линейных резонаторов на броуновы движения, однако и в значительно более общих случаях она обеспечивает некоторый возможный синтез предсказывающих устройств и фильтров. Последние, правда, не будут иметь абсолютно наилучшей конструкции, но, во всяком случае, позволят свести к минимуму среднеквадратическую ошибку предсказания при использовании линейных устройств. Однако, вообще говоря, найдутся такие нелинейные устройства, которые будут работать лучше, чем любые линейные устройства.

Кроме того, выше мы рассматривали простые временные ряды, в которых от времени зависит лишь одна числовая переменная. Существуют также многомерные временные ряды, где несколько таких переменных зависят все вместе от времени; именно многомерные ряды имеют наибольшее значение в экономических науках, метеорологии и т. п. Полная карта погоды Соединенных Штатов, составляемая ежедневно, есть такой временной ряд. В этом случае нам нужно одновременно выразить несколько функций через частоту, причем квадратические величины, такие, как выражение (3.35) или | k(?)|² в рассуждениях после формулы (3.70), заменяются множествами пар величин, т. е. матрицами. Задача определения функции k(?) через |k(?)|² с выполнением некоторых добавочных условий в комплексной плоскости становится теперь гораздо труднее, особенно ввиду того, что умножение матриц не является перестановочной операцией. Тем не менее задачи, относящиеся к этой многомерной теории, были решены, по крайней мере частично, Крейном и автором.

Многомерная теория представляет собой усложнение предыдущей теории. Существует, кроме того, другая близкая теория, которая является ее упрощением. Эта теория предсказания, фильтрации и количества информации в дискретных временных рядах. Такой ряд [c.154] представляет собой последовательность функций f_n(?) параметра ?, где n пробегает все целочисленные значения от —? до ?. Величина ?, как и раньше, служит параметром распределения, и можно по-прежнему считать, что этот параметр изменяется равномерно в интервале (0, 1). Говорят, что временной ряд находится в статистическом равновесии, если замена n на n +v (v — целое число) равносильна сохраняющему меру преобразованию в себя интервала (0, 1), пробегаемого параметром ?.

Теория дискретных временных рядов во многих отношениях проще теории непрерывных рядов. Гораздо легче, например, свести их к последовательности независимых выборов. Каждый член (в случае перемешивания) можно представить как комбинацию предшествующих членов с некоторой величиной, не зависящей от всех предшествующих членов и равномерно распределенной в интервале (0, 1), и последовательность этих независимых коэффициентов взять вместо броунова движения, столь важного для непрерывных рядов.

Если f_n(?) — временной ряд, находящийся в статистическом равновесии и метрически транзитивный, то его коэффициент автокорреляции будет равен

 .          (3.923)

и мы будем иметь

           (3.924)

почти для всех ?. Положим

 ,          (3.925)

или

           (3.926)

[c.155]

Пусть

 ,          (3.927)

           (3.928)

и

 .          (3.929)

Тогда при очень общих условиях k(?) будет граничным значением на единичном круге для функции без нулей и особых точек внутри единичного круга; ? является здесь углом. Отсюда

           (3.930)

Если теперь за наилучшее линейное предсказание функции f_n (?) с опережением v принимается

 ,          (3.931)

то

 .          (3.932)

Это выражение аналогично выражению (3.88). Заметим, что если положить

 ,          (3.933)

то

           (3.934)