Представьте что придумали язык в котором нет избыточности в чем

Законы для жизни

Как и раньше я буду стараться ссылаться на общеизвестные трактовки законов. Я не выражаю своего отношения, моё мнение может не совпадать с опубликованным в тексте.

Это продолжение попытки рассказать об информатике и об её законах и об их отпечатке в повседневной жизни. Отпечаток это, тень, или вообще иллюзия — решать каждому. Но если мы сами придумали себе все науки, чтобы познать мир, странно не видеть в физике природу, знать сопромат и не любоваться архитектурой, не писать программу как роман… Или наоборот, во всем видеть структуру, в общем понимать важность частного, жить и ощущать законы существования. Вопрос в том, что если один мыслит и понимает не так как другой? Кто прав, а кто нет, кого назвать глупцом, а кого умным? Возможно тот, кто больше знает и обладает большей информацией… Возможно это так. Но что такое информация, которая стала сегодня важнейшей экономической ценностью в мире и ознаменовавшая замещение машинной техники как главного производственного ресурса индустриальной эпохи знанием и интеллектом? Возможно, ответив на этот вопрос, мы сможем понять, кто глуп, а кто умен и почему.

Примерно в 1949-ом году Клод Элвуд Шеннон определил информацию через информационную энтропию — неопределённость появления какого-либо символа первичного алфавита. Для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности».

Информационная энтропия — мера непредсказуемости. Понятия энтропии сообщения и избыточности естественно соответствуют интуитивным представлениям о мере информации. Чем более непредсказуемо сообщение (и чем больше его энтропия, потому что меньше вероятность) — тем больше информации оно несет. Сенсация — это редкое событие, предсказуемость которого очень мала, и потому велика его информационная стоимость. Часто информацией называют новости — сообщения о только что произошедших событиях, о которых мы еще не знаем. Но если о случившемся нам расскажут во второй и третий раз, избыточность сообщения станет очень велика, его непредсказуемость упадет до нуля.

Пусть источник сообщения передает предложение реального языка. То, какой символ последует дальше, зависит от символов, уже переданных. Например, в русском языке после символа «Ъ» не может идти символ согласного звука. После двух подряд гласных «Е» третий гласный «Е» следует крайне редко (например, в слове «длинношеее»). Таким образом, каждый следующий символ в некоторой степени предопределен, поэтому можно говорить об условной энтропии символа.

Согласно Ерохину («Теория информации. Часть 1.») избыточность русского языка составляет 73%, избыточность французского языка равна 71%, немецкого — 66%. Наибольшей избыточностью обладают «специальные языки», например язык «диспетчеров аэропорта» или язык юридических документов, менее избыточным является литературный язык, еще менее избыточным — живая речь. Например, для русского языка: живая речь: 72 %; литературный текст: 76%; юридический текст: 83%. Эти данные можно дополнить сравнением русского и французского языка:

С этой точки зрения для нас наиболее интересен язык аэродромных диспетчеров, на котором они общаются по радио с пилотами взлетающих и садящихся самолетов. Соответствующие исследования показали чудовищную избыточность языка диспетчеров — до 96 процентов. Только столь низкая информационная плотность сигнала позволяет преодолеть высокий уровень помех. И хорошо, что никому в голову не приходит объявить 96 процентов слов в радиопереговорах лишними, «мусорными» и наказывать пилотов и диспетчеров за многословие.

В принципе возможно построить совершенно безызбыточный язык, так называемый оптимальный код. В нем каждое случайное сочетание букв означало бы осмысленное слово. Но пользоваться им было бы невозможно. Вот что пишет Александр Каравайкин («Некоторые вопросы неэлектромагнитной кибернетики»): «Увеличение информации эквивалентно сокращению энтропии. Это один из основных законов мироздания! За передачу информации приходится платить повышением энтропии, при этом система, получившая информацию, автоматически уменьшает свою „собственную“ энтропию.

Что есть мера информации? По Шеннону, базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос). Еще в 1946 г. американский ученый-статистик Джон Тьюки предложил название БИТ (BIT — аббревиатура от BInary digiT), одно из главных понятий XX века. Тьюки избрал бит для обозначения одного двоичного разряда, способного принимать значение 0 или 1, Шеннон использовал бит как единицу измерения информации.

Только два ответа „Да“ или „Нет“, третьего не дано. Можно считать этот факт проявлением закона чётности. Вот что говорит Игорь Михайлович Дмитриевский: „Закон сохранения четности — это симметрия между левым и правым. Оказывается, ни один природный процесс не позволяет ткнуть пальцем и сказать, что это — левое или это — правое. Природа индифферентна, она не дает ответа. Она симметрична. Отличие левого от правого она знает, но какое из них левое, и правое — это мы договариваемся“. На своих лекциях Дмитриевский продолжал эту мысль: «… кто дурак, а кто умный? Получается для природы нет значения».

«Дурак — инакомыслящий или инакочувствующий.»
Аркадий и Борис Стругацкие

Источник

Как мы уже знаем, информация сама по себе нематериальна. Поэтому она может существовать только тогда, когда связана с каким-то объектом или средой, т. е. с носителем.

Материальный носитель — это объект или среда, которые могут содержать информацию.Изменения, происходящие с информацией (т. е. изменения свойств носителя), называются информационными процессами. Все эти процессы можно свести к двум основным:передача информации (данные передаются с одного носите­ля на другой); обработка информации (данные изменяются).

Часто информационными процессами называют также и мно­гие другие операции с информацией (например, копирование, удаление и др.), но они, в конечном счёте, сводятся к двум названным процессам.

Для хранения информации тоже используется какой-то носи­тель. Однако при этом никаких изменений не происходит, поэто­му хранение информации нельзя назвать процессом.

При передаче информации всегда есть два объекта — источ­ник и приёмник информации. Эти роли могут меняться, напри­мер во время диалога каждый из участников выступает то в роли источника, то в роли приёмника информации.

Информация проходит от источника к приёмнику через канал связи, в котором она должна быть связана с каким-то материаль­ным носителем (рис. 1.4). Для передачи информации свойства этого носителя должны изменяться со временем. Например, если включать и выключать лампочку, то можно передавать разную информацию, например, с помощью азбуки Морзе.

При разговоре людей носитель информации — это звуковые волны в воздухе. В компьютерах информация передаётся с по­мощью электрических сигналов или радиоволн (в беспроводных устройствах). Информация может передаваться с помощью света, лазерного луча, телефонной или почтовой связи, компьютерной сети и др.

Информация поступает по каналу связи в виде сигналов, ко­торые приёмник может обнаружить с помощью своих органов чувств <или датчиков) и «понять» (раскодировать).

Сигнал — это изменение свойств носителя, которое используется для передачи информации.

Примеры сигналов — это изменение частоты и громкости зву­ка, вспышки света, изменение напряжения на контактах и т. п.

Человек может принимать сигналы только с помощью своих органов чувств. Чтобы передавать и принимать информацию, на­пример, с помощью радиоволн, нужны вспомогательные устрой­ства: радиопередатчик, преобразующий звук в радиоволны, и радиоприёмник, выполняющий обратное преобразование. Они позволяют расширить возможности человека.

С помощью одного сигнала (одного изменения) невозможно передать много информации. Поэтому чаще всего используется не одиночный сигнал, а последовательность сигналов, которая на­зывается сообщением. Важно понимать, что сообщение — это только «оболочка» для передачи информации, а информация — это содержание сообщения. Приёмник должен сам «извлечь» (раскодировать) информацию из полученной последовательности сигналов. Можно принять сообщение, но не принять информа­цию, например, услышав речь на незнакомом языке или перехва­тив шифровку.

Одна и та же информация может быть передана с помощью сообщений, имеющих разные физические носители (например, че­рез устную речь, с помощью записки или с помощью флажного семафора, который используется на флоте) или с помощью раз­ных сообщений. В то же время одно и то же сообщение может не­сти разную информацию для разных приёмников. Так фраза «В Сантьяго идёт дождь», переданная в 1973 г. на военных радио­частотах, для сторонников генерала Пиночета послужила сигналом к началу государственного переворота в Чили.

К сожалению, в реальном канале связи всегда действуют по­мехи: посторонние звуки при разговоре, шумы радиоэфира, элек­трические и магнитные поля. Помехи могут полностью или час­тично искажать сообщение, вплоть до полной потери информации (например, телефонные разговоры при перегрузке сети).Источник

Хранение информации

Для хранения информации человек, прежде всего, использует свою память. Мозг – это одно из самых совершенных хранилищ информации, во многом превосходящее компьютерные средства.

К сожалению, человек многое забывает. Кроме того, необходимо передавать знания другим людям, в том числе и следующим поколениям. Поэтому в древности люди записывали информацию на камне, папирусе, бересте, пергаменте, затем – на бумаге. В XX веке появились новые средства хранения информации: перфокарты и перфоленты, магнитные ленты и магнитные диски, лазерные диски, флэш-память.

В любом случае информация хранится на каком-то носителе, который обладает «памятью», то есть может находиться в разных состояниях. Носитель переходит из одного состояния в другое при каком-то внешнем воздействии, а без воздействий сохраняет свое состояние.

При записи информации свойства носителя меняются: на бумагу наносятся текст и рисунки; на магнитных дисках и лентах намагничиваются отдельные участки; на лазерных дисках образуются области, по-разному отражающие свет. Таким образом, для хранения информация тоже кодируется.

При хранении свойства носителя остаются неизменными, что позволяет потом читать записанную информацию. Отметим, что процессы записи и чтения – это процессы передачи информации.

1. Кто (что) может быть источником (приемником) информации? Приведите примеры.

2. Что такое сигнал? Приведите примеры сигналов.

3. Что такое сообщение? Чем отличается получение информации от получения сообщения?

4. Приведите примеры, когда прием сообщения не означает прием информации.

5. Приведите примеры, когда одна и та же информация может быть передана с помощью разных сообщений.

6. Приведите примеры, когда одно и то же сообщение несет разную информацию для разных людей.

7. Расскажите, как помехи влияют на передачу информации. Приведите примеры.

8. Что такое избыточность? Почему она полезна при передаче информации?

9. Представьте, что придумали язык, в котором нет избыточности. В чем будет его недостаток?

10. Как вы думаете, какой вариант русского языка обладает наибольшей избыточностью: разговорный, литературный, юридический, язык авиадиспетчеров? Почему?

11. Какие виды обработки информации вы знаете?

12. При каких видах обработки информации меняется ее содержание?

13. При каких видах обработки информации меняется только форма ее представления?

14. К какому виду обработки можно отнести шифрование? Почему?

15. Работники удаленной метеостанции каждый 3 часа измеряют температуру и влажность воздуха, и передают данные по рации в районный метеоцентр. Там эти данные сводят в таблицу и отправляют по электронной почте в Гидрометцентр, где мощные компьютеры составляют прогноз погоды. Выделите здесь процессы, связанные с обработкой, передачей и приемом информации.

16. Вася нашел в старой книге сведения о населении Москвы в XIX веке, составил таблицу по этим данным, построил диаграмму и сделал доклад на школьной конференции. Выделите здесь процессы, связанные с обработкой и передачей информации.

17. Зачем человек записывает информацию?

18. В чем преимущества и недостатки человеческой памяти в сравнении с компьютерной?

19. В каких задачах компьютер не может соревноваться с человеком? Почему? В каких ситуациях человек явно уступает компьютеру?

20. Какие средства хранения информации используются в компьютерной технике? Какие из них уже вышли или выходят из употребления? Почему?

Источник

Совершенно секретные системы

Энтропия и неопределенность

Так как в данной формуле используется двоичный логарифм, то энтропия измеряется в битах, что общепринято в криптографии, теории информации и в компьютерных науках.

Определим энтропию второго источника:

Неопределенность оказалась равной одному биту. Найдем теперь энтропию третьего источника:

Неопределенность у третьего источника меньше, чем у второго, так как из двух возможных сообщений, генерируемых третьим источником, одно более вероятно, чем другое.

Норма языка и избыточность сообщений

Для каждого языка можно ввести величину, называемую нормой языка r и определяемую по формуле

Абсолютной нормой языка R называют максимальное количество бит информации, которое может быть передано одним символом рассматриваемого языка, при условии, что все последовательности символов равновероятны. Абсолютная норма языка, алфавит которого состоит из L символов, может быть вычислена как

Для русского языка, алфавит которого состоит из 33 букв, абсолютная норма языка

Избыточность языка D оценивают как

Минимальной избыточностью сообщений D = 0 обладал бы язык, в котором все символы равновероятны и могут встречаться в сообщениях независимо друг от друга в любом порядке.

Понятие совершенно секретной системы

Криптографическая система называется совершенно секретной, если анализ зашифрованного текста не может дать никакой информации об открытом тексте, кроме, возможно, его длины.

На практике возможна следующая реализация совершенно секретной системы, называемая одноразовая лента (или одноразовый блокнот, или шифр Вернама по имени американского инженера, предложившего эту систему в первой половине ХХ века). Будем предполагать, что процессу шифрования подвергаются двоичные данные. На передающей и приемной сторонах подготавливаются две одинаковые ленты, например, магнитные. Они содержат ключ шифрования. На передающей стороне лента помещается в устройство шифрования, а на принимающей стороне – в идентичное устройство, используемое для расшифрования. Когда отправитель хочет передать сообщение, он складывает по модулю два один бит исходного сообщения и один бит с магнитной ленты. После этого лента перемещается в следующее положение и можно шифровать второй бит сообщения, используя второй бит ключа. Таким образом шифруется все сообщение. На принимающей стороне лента с ключом используется аналогично.

Например, пусть исходное сообщение m содержит следующие двоичные цифры:

Предположим, в качестве ключевой используется последовательность:

Источник

Словари

1. Необходимое условие передачи и приема сообщения. Она не только способствует надежности коммуникации, но и создает условия порождения и восприятия речи. Без существующей избыточности языка человек не смог бы перерабатывать всю поступающую или передаваемую информацию. Избыточность языка объясняется, кроме того, и тем обстоятельством, что органы чувств воспринимают речь, а способствующие центры мозга ее перерабатывают не непрерывно, а путем накопления порций информации. Периодическое накопление порций информации мозговыми механизмами неизбежно ведет к неравномерному распределению информации в тексте. Это доказывают исследования, которые проводились в ряде европейских языков.

2. Наличие в языке элементов, несущих повторную информацию, т.е. информацию уже переданную другими элементами языка. Так, в русском языке избыточными ляются большинство сдвоенных букв, повторные указания на род, число, падеж взаимосвязанных слов. В речи избыточность языка проявляется повторением смысловой информации в различных лексических единицах, а иногда в одних и тех же, как, например, при радиопереговорах в оперативных условиях. Избыточность языка, как правило, повышает надежность передачи сообщений. По сделанным расчетам избыточность основных европейских языков составляет 70-85%.

Наличие в языке элементов, несущих повторную информацию, т. е. информацию, уже переданную другими элементами языка. В русском языке избыточными являются большинство сдвоенных букв, повторные указания на род, число, падеж и др. И. я., как правило, повышает надежность информации. В речи И. я. проявляется в повторении смысловой информации, что может быть как недостатком речи, так и методическим приемом (например, на занятиях по аудированию, при слушании лекций), облегчающим понимание сообщения, делающим его более надежным.

Источник