Вам бонус- начислено 1 монета за дневную активность. Сейчас у вас 1 монета

18.1. Предмет и задачи теории информации кратко

Лекция



Сразу хочу сказать, что здесь никакой воды про теория информации, и только нужная информация. Для того чтобы лучше понимать что такое теория информации , настоятельно рекомендую прочитать все из категории Теория информации и кодирования.

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации. Возникнув в 40-х годах нашего века из практических задач теории связи, теория информации в настоящее время становится необходимым математическим аппаратом при изучении всевозможных процессов управления.

Теория информации - область, в которой изучаются основные количественные закономерности, связанные с получением, хранением, передачей и обработкой информации. Теория информации позволяет сравнивать различные системы связи. Решение указанных задач стало возможным лишь с введением в ней таких понятий как энтропия и количество информации, которые позволили получить количественное описание процессов передачи информации и установить их общие закономерности.

Особенностью теории информации является то, что она изучает предельные возможности статистического и помехоустойчивого кодирования, которые понимаются в том смысле, что допускается любая, в пределе бесконечно большая, продолжительность операций кодирования и декодирования, а также любая сложность кодеров и декодеров.

Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, ее свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Теория информации — это наука, изучающая количественные закономерности, связанные с получением, передачей и хранением информации. Основы теории информации изложены в работах К. Шеннона в 1948 году. С точки зрения Шеннона, теория информации — раздел математической теории связи. Теория информации устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения.

18.1. Предмет и задачи теории информации

Клод Элвуд Шеннон (Shannon) (1916 — 2001) — американский инженер и математик.
Основатель современных теорий информации и связи.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами.

Область находится на пересечении математики, статистики, информатики, физики, нейробиологии, информационной инженерии и электротехники. Теория также нашла применение в других областях, включая статистический вывод, обработку естественного языка, криптографию, нейробиологию , человеческое зрение , эволюцию и функцию молекулярных кодов (биоинформатика), выбор статистической модели , теплофизику , квантовые вычисления, лингвистику, выявление плагиата , распознавание образов и выявление аномалий . Об этом говорит сайт https://intellect.icu . Важные подразделы теории информации включают в себя сжатие данных, канальное кодирование, алгоритмическую теорию сложности, алгоритмическую теорию информации, информационно-теоретическую безопасность, реляционный анализ Грея и измерение информации.

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. При этом не удается ограничиться классическими методами теории вероятностей, и возникает необходимость в создании новых вероятностных категорий. Поэтому теория информации представляет собой не просто прикладную науку, в которой применяются вероятностные методы исследования, а должна рассматриваться как раздел теории вероятностей.

Получение, обработка, передача и хранение различного рода информации - непременное условие работы любой управляющей системы. В этом процессе всегда происходит обмен информацией между различными звеньями системы. Простейший случай - передача информации от управляющего устройства к исполнительному органу (передача команд). Более сложный случай - замкнутый контур управления, в котором информация о результатах выполнения команд передается управляющему устройству с помощью так называемой «обратной связи».

Любая информация для того, чтобы быть переданной, должна быть соответственным образом «закодирована», т. е. переведена на язык специальных символов или сигналов. Сигналами, передающими информацию, могут быть электрические импульсы, световые или звуковые колебания, механические перемещения и т. д.

Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов. Эта задача решается как при отсутствии, так и при наличии искажений (помех) в канале связи.

Другая типичная задача теории информации ставится следующим образом: имеется источник информации (передатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал «справлялся» со своей задачей, т. е. передавал всю поступающую информацию без задержек и искажений?

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранения информации, к способам ввода информации в эти запоминающие устройства и вывода ее для непосредственного использования.

Чтобы решать подобные задачи, нужно прежде всего научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам (искажениям). Основные понятия теории информации, излагаемые в настоящей главе, позволяют дать количественное описание процессов передачи информации и наметить некоторые математические закономерности, относящиеся к этим процессам.

Рождение теории информации зачастую связывают с размещением в июле-октябре 1948 года Клодом Шенноном работы в журнале американской телефонной компании «Bell System» под названием «Математическая теория связи». Но стоит упомянуть, что вклад в формулировку и построение теории информации также был внесен и многими другими выдающимися учеными. Сам Шеннон в начале своей статьи написал «Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящее время теория расширена тем, что включено некоторое число новых факторов, в частности, влияние шума в канале».

В основном Шеннон развивал направление работ Хартли, используя понятие «информации», но сам термин не разъясняет, лишь оговаривает, что сообщения могут иметь какое-то «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность (кибернетическая система). Теория Шеннона изначально рассматривалась как точно сформулированная математическая задача и дала возможность определить пропускную способность коммуникационного канала с шумом.

Круг задач теории информации представляется с помощью структурной схемы, типичной системы передачи или хранения информации. Однако попытки определить информацию были и раньше. Хартли дал определение понятию информация (однако неудачное). Очень близко к количественному определению подошел Бриллюэн. Рассматривается задача с некоторым числом возможных ответов. Если о задаче получены некоторые сведения, то количество возможных ответов может сократиться, а наличие информации может оставить единственный ответ. Таким образом, информация определяется числом возможных ответов до, и после получения. Таким образом, в теории информации рассматриваются процессы и соотношения в случайных системах. Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому не может быть определена в строгом смысле.

Однако можно перечислить ее свойства:

  • 1) информация нематериальна, но представляется в форме материальных носителей (знаков, сигналов или в форме функций времени)
  • 2) информация приносит знания об окружающем мире, которых в рассмотренной точке до ее получения не было.
  • 3) информация может быть заключена как в знаках и сигналах, так и в их взаимном расположении. Например: Т, Р, О, С: ТРОС, СОРТ, ТОРС, РОСТ.
  • 4) знаки и сигналы несут информацию только для того получателя, который способен их распознать.

Распознавание — это отожествление знаков и сигналов с объектами и их отношениями в реальном мире. Знаками будем называть реальноразличимые получаемые материальными объектами: емкость, знаки, иероглифы.

Передача, преобразование и получение информации связано с понятием сигнал.

Задачи теории информации

Основная задача теории информации: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче
препятствуют помехи.
"надежную" - означает, что в процессе передачи не должно происходить потери информации;
"эффективная" - означает, что передача должна осуществляться наиболее быстрым способом, поскольку время эксплуатации линии связи –
экономический фактор, который требуется минимизировать; помехи присутствуют в любой реальной линии связи.

Частные задачи теории информации:

  • измерение количества информации;
  • изучение свойств информации;
  • разработка оптимальных методов кодирования;
  • разработка методов передачи информации, обеспечивающих максимальную пропускную способность каналов связи при наличии помех, пр.

Вау!! 😲 Ты еще не читал? Это зря!

Пожалуйста, пиши комментарии, если ты обнаружил что-то неправильное или если ты желаешь поделиться дополнительной информацией про теория информации Надеюсь, что теперь ты понял что такое теория информации и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Теория информации и кодирования

Из статьи мы узнали кратко, но содержательно про теория информации
создано: 2014-09-15
обновлено: 2021-01-10
132534



Рейтиг 9 of 10. count vote: 2
Вы довольны ?:


Найди готовое или заработай

С нашими удобными сервисами без комиссии*

Как это работает? | Узнать цену?

Найти исполнителя
$0 / весь год.
  • У вас есть задание, но нет времени его делать
  • Вы хотите найти профессионала для выплнения задания
  • Возможно примерение функции гаранта на сделку
  • Приорететная поддержка
  • идеально подходит для студентов, у которых нет времени для решения заданий
Готовое решение
$0 / весь год.
  • Вы можите продать(исполнителем) или купить(заказчиком) готовое решение
  • Вам предоставят готовое решение
  • Будет предоставлено в минимальные сроки т.к. задание уже готовое
  • Вы получите базовую гарантию 8 дней
  • Вы можете заработать на материалах
  • подходит как для студентов так и для преподавателей
Я исполнитель
$0 / весь год.
  • Вы профессионал своего дела
  • У вас есть опыт и желание зарабатывать
  • Вы хотите помочь в решении задач или написании работ
  • Возможно примерение функции гаранта на сделку
  • подходит для опытных студентов так и для преподавателей



Комментарии


Оставить комментарий
Если у вас есть какое-либо предложение, идея, благодарность или комментарий, не стесняйтесь писать. Мы очень ценим отзывы и рады услышать ваше мнение.
To reply

Теория информации и кодирования

Термины: Теория информации и кодирования