не будем вдаваться здесь в обсуждение вопроса, можно ли свести все лингвистические единицы к комплексам иерархически упорядоченных бинарных «выборов». Тот факт, что многие единицы (на всех уровнях языковой структуры) сводимы к ним, означает, что лингвисту следует приучиться мыслить в терминах бинарных систем. В то же время следует отдавать себе отчет в том, что фундаментальные идеи теории информации совершенно не зависят от частных предположений относительно бинарности. 

Поскольку каждый двоичный знак несет только один бит информации, группа из m двоичных знаков может нести максимум m битов. До сих пор мы предполагали, что вероятности различаемых таким образом единиц высшего уровня равны. Теперь рассмотрим более интересный и более обычный случай, когда эти вероятности не равны. Для простоты возьмем множество из трех единиц, а, b и с, со следующими вероятностями: р_а = 1/2, р_b = 1/4, p_с = 1/4. Единица а несет 1 бит, а b и с несут по 2 бита информации каждая. Их можно закодировать в двоичной системе реализации, как а : 00, b : 01 и с : 10 (оставив 11 незанятым). Но если бы знаки передавались в последовательности по некоторому каналу связи и передача и получение каждого знака занимали бы один и тот же отрезок времени, было бы неразумным принимать столь неэффективное условие кодирования. Ведь для а требовалась бы такая же мощность канала, как для b и для с, хотя оно несло бы вдвое меньше информации. Более экономичным было бы закодировать а с помощью одного знака, скажем 1, и отличать b и с от а, закодировав их противоположным знаком — 0 — в первой позиции; b и с тогда отличались бы друг от друга во второй позиции контраста (которая, конечно, пуста для а). Итак, а : 1, b : 00 и с : 01. Это второе соглашение более экономичным образом использует пропускную способность канала, так как оно увеличивает до предела количество информации, которое несет каждая группа в один или два знака. Поскольку на передачу а, которое встречается вдвое чаще, чем b и c, тратится вдвое меньше времени, данное решение позволило бы в кратчайшее время передать наибольшее число сообщений (исходя из предположения, что эти сообщения достаточно длинны или достаточно многочисленны, чтобы отражать средние частоты появления). В действительности эта простая система представляет собой теоретический идеал: каждая из трех единиц a, b и с несет целое число битов информации и реализуется в субстанции именно этим числом различий. 

Этот теоретический идеал никогда не достигается на практике. Прежде всего вероятности появления единиц обыкновенно находятся между величинами ряда 1, 1/2, 1/4, 1/8, 1/16, . . . , 1/2^m, а не соответствуют им в точности. Например, вероятность появления отдельной единицы может быть равна 1/5, поэтому она может передавать log₂ 5 — приблизительно 2,3 — бита информации. Но в субстанции не бывает различия, измеряемого числом 0,3; субстанциальные различия абсолютны в поясненном выше смысле (см. § 2.2.10). Если же мы используем три знака для отождествления единицы с вероятностью появления в 1/5, мы тем самым введем избыточность в субстанциальную реализацию. (Среднюю избыточность системы можно сделать сколь угодно малой; математическая теория связи занимается-главным образом этой задачей. Но нам здесь нет необходимости вдаваться в более специальные подробности.) Важным является то, что некоторая степень избыточности на самом деле желательна в любой системе связи. Причина состоит здесь в том, что, какая бы среда ни использовалась в целях передачи информации, она будет подвержена разнообразным непредсказуемым природным помехам, которые уничтожат или исказят часть сообщения и таким образом приведут к потере информации. Если бы система была свободна от избыточности, потеря информации была бы невосполнима. Инженеры связи обозначают случайные помехи в среде или канале связи термином шумы. Оптимальная система для отдельного канала такова, что в ней ровно столько избыточности, сколько требуется, чтобы получатель мог восстановить информацию, потерянную из-за шумов. Заметим, что термины «канал» и «шумы» следует толковать в самом общем смысле. Их применение не ограничивается акустическими системами и тем более системами, созданными инженерами (телефон, телевизор, телеграф и т. п.). Искажения в почерке, получающиеся при письме в движущемся поезде, можно также причислить к «шумам»; сюда же относятся искажения, возникающие в речи при насморке, в состоянии опьянения, от рассеянности или ошибок памяти и т. п. (Опечатки — это одно из следствий воздействия шумов при «кодировании» письменного языка; читатель часто не замечает их, потому что избыточность, характерная для большей части письменных предложений, достаточна для того, чтобы нейтрализовать искажающее влияние случайных ошибок. Опечатки более существенны в цепочке знаков, любая комбинация которых a priori возможна. С этим на практике считаются бухгалтеры, которые умышленно вводят в свои книги избыточную информацию, требуя баланса сумм в разных колонках. Обычай ставить сумму к выплате на чеках и прописью и цифрами позволяет банкам обнаружить, если не исправить, многие ошибки, вызванные шумами того или иного рода.) Что же касается устной речи, то термин «шум» включает любой источник искажения или непонимания, относится ли он к недостаткам речевой деятельности говорящего и слушающего или к акустическим условиям физической среды, в которой производятся высказывания.

С начала 1950-х гг. теория связи (или теория информации) оказывает большое влияние на множество других наук, в том числе на лингвистику. Основные ее принципы можно резюмировать следующим образом:

(i) Вся коммуникация основывается на возможности выбора, или селекции, из множества альтернатив. В главе, посвященной семантике, мы увидим, что этот принцип дает нам толкование термина «значимый» (в одном из смыслов): языковая единица любого уровня не обладает значением в некотором данном контексте, если она полностью предсказуема в этом контексте.

(ii) Информационное содержание изменяется обратно пропорционально вероятности. Чем более предсказуема единица, тем меньше значения она несет. Этот принцип хорошо согласуется с мнением стилистов о том, что клише (или «избитые выражения» и «мертвые метафоры») менее действенны, чем более «оригинальные» обороты речи.

(iii) Избыточность субстанциальной реализации языковой единицы (ее «кодирования») измеряется разницей между количеством отличительных признаков субстанции, требуемых для ее отождествления, и ее информационным содержанием. Определенная степень избыточности необходима для противодействия шумам. Наше предшествующее рассуждение об устойчивости субстанции, в которой реализуется язык, и о необходимости некоторого «запаса прочности», позволяющего различать реализации контрастирующих элементов, можно также подвести под более общий принцип избыточности