Обработка информации и данных

обработка информации — вся совокупность операций (сбор, ввод, запись, преобразование, считывание, хранение, уничтожение, регистрация), осуществляемых с помощью технических и программных средств, включая обмен по каналам передачи данных.

обработка данных включает в себя множество видов в зависимости от целей и методов работы с информацией. Основные виды:

1. Первичная обработка

• Очистка данных (удаление дубликатов, исправление ошибок)
• Фильтрация данных
• Нормализация и стандартизация
• Объединение данных включает в себя интеграцию, слияние и очистку данных перед их анализом.

• Валидация данных проверяет и обеспечивает корректность входных данных перед их дальнейшим использованием. Валидация выполняется до сохранения или обработки данных.Основная цель — убедиться, что данные соответствуют требованиям (например, email имеет правильный формат, число не выходит за допустимые пределы).Если данные не проходят валидацию, они отбрасываются или исправляются, что является ключевой частью очистки данных.

• Гидратация данных — это процесс преобразования сырых данных из базы в объекты сущностей. Обратный процесс (преобразование объектов в массив или SQL-запрос) называется дегидратацией (Dehydration).Гидратация = превращение SQL-данных в объекты PHP

2. Аналитическая обработка

• Статистический анализ
• Машинное обучение и нейросети
• Прогнозирование и моделирование
• Дистилляция данных (Data Distillation) – это процесс извлечения наиболее значимой информации из больших объемов данных. Она ближе к аналитической обработке, так как используется в машинном обучении и для создания упрощенных моделей данных.

3. Логическая обработка

• Поиск закономерностей
• Классификация и категоризация
• Сортировка – «расположение предметов в определенной последовательности и/или в различных наборах».
• Оптимизация и принятие решений
• ORM-трансляция = превращение DQL-запросов в SQL-запросы. Преобразование объектно-ориентированных запросов (DQL) в SQL.До выполнения запроса, когда Doctrine конвертирует DQL в SQL.

4. Визуализация данных

• Построение графиков и диаграмм
• Интерактивные дашборды
• ГИС-карты (геоинформационные системы)

5. Хранение , передача, уничтожение и управление данными

• Структурирование (SQL, NoSQL)
• Архивация и бэкапы
• Обеспечение безопасности данных

• передача это процесс перемещения информации из одного источника в другой через различные каналы связи (интернет, локальная сеть, Bluetooth, радиоволны и т. д.).

• Уничтожение данных — это процесс удаления информации таким образом, чтобы восстановить ее было невозможно. Это важно для обеспечения безопасности данных, соблюдения законов о защите информации, а также предотвращения утечек конфиденциальных данных.

При современном развитии программного обеспечения существует множество различных программных средств обработки информации, написанных на разных языках программирования на основе вышеперечисленных методов. Разнообразие ПО связано со спецификой каждой отрасли, в которой проводится обработка. Например, при обработке графических изображений широко используются методы распознавания образов, криптографические методы, основанные на преобразовании Фурье и тому подобное.

Среди средств обработки информации, доступных широкому классу потребителей, — средства организации баз данных, соответствия выполнения запросов и поиска информации, фильтрации информации, графического представления и т. п.

На данном этапе все большее развитие приобретают методы человеко-ориентированной компьютерной обработки данных.

В настоящее время вследствие глобального распространения компьютерных систем в области автоматизации промышленных процессов все чаще применяются системы сбора данных и оперативного диспетчерского управления (SCADA — Supervisory Control And Data Acquisition System). SCADA — это только один из компонентов автоматизированных систем управления, которые на современном этапе является сложным комплексом программных и аппаратных средств. Подавляющее большинство автоматизированных систем управления строится на базе промышленных контроллеров, которые являются первичными средствами сбора, обработки информации, регулирования технологическим параметрам, аварийной сигнализации, защиты и блокировки (нижний уровень системы). Обработанная контроллерами информация передается в компьютеризованную систему, которая являются рабочим местом оператора-технолога, где происходит дальнейшая обработка данных процесса и представления оператору в интуитивно понятном виде (верхний уровень АСУ ТП). SCADA-системы в иерархии программно-аппаратных средств промышленной автоматизации находятся на верхнем уровне. SCADA-система собирает информацию о технологический процесс, обеспечивает интерфейс с оператором, сохраняет историю процесса и осуществляет управление процессом в том объеме, в котором это необходимо.

Эксплуатационные возможности современного комплекса технических средств, используемого в системе автоматизированного сбора и обработки информации, дают возможность автоматизировано выполнять целый ряд процедур в этих функциях. Состояние научно-практических разработок и технический уровень упомянутого комплекса определили возможности автоматизированного выполнения таких процедур управленческого процесса:

• в прогнозировании и планировании — многовариантные расчеты при разработке прогнозов, перспективных и текущих экономических и социальных планов развития предприятия, а также оперативно-производственных планов и планов по технической подготовке производства с целью дальнейшего определения оптимальных взаимосвязанных наборов показателей планирования в почасовом (час, смена, неделя и т. п) и пообъектном (рабочее место, участок и тому подобное) аспектах;
• в организации — моделирование организационных структур управления и имитация процессов производства при разных критериях и параметрах с целью выбора оптимальных;
• при координации и регулировании — подача команд на рабочие места (на низовом уровне управления производством) согласно плану, технологическому процессу или инструкции, составленных на те или иные виды работ или операции;
• в контроле — наблюдение за состоянием управляемого объекта по всем параметрам, а также за своевременным и полным выполнением руководящих команд;
• в учете — единоразовый сбор (в ритме производства) и системная обработка всей фактической (вместе со справочной, плановой, нормативной и другой) достоверной информации о наличии и движении ресурсов, а также о состояниях, процессах и явлениях, имеющих место в производственно-хозяйственной и другой деятельности предприятия;
• в анализе — сопоставление нормативных, плановых и фактических показателей, характеризующих те или иные операции или процессы производственно-хозяйственной и иной деятельности, выявление отклонений (в количественных, стоимостных, относительных и других величинах) от заданных параметров с указанием причин и виновников этих отклонений, оценка выполнения плана в различных аспектах и выявления факторов, влияющих на эти отклонения;
• в отчетности — автоматическое формирование (на основе первичных данных сводных показателей для типичных форм установленной бухгалтерской, статистической и другой отчетности с помощью специальных переводных массивов) справочников, — а также одновременное создание машинных носителей со сводными показателями отчетности для передачи по каналам связи к внешним учреждениям (институтам) высшего уровня.

История Бюро переписи населения США иллюстрирует эволюцию обработки данных от ручных до электронных процедур.

Хотя широкое использование термина «обработка данных» датируется лишь 1950-ми годами, функции обработки данных выполнялись вручную на протяжении тысячелетий. Например, бухгалтерский учет включает в себя такие функции, как размещение транзакций и составление отчетов, таких как баланс и отчет о движении денежных средств . Полностью ручные методы были дополнены применением механических или электронных калькуляторов . Человек, чья работа заключалась в выполнении вычислений вручную или с использованием калькулятора, назывался « компьютером ».

График переписи населения США 1890 года был первым, в котором данные собирались по отдельным лицам, а не по домохозяйствам . На ряд вопросов можно было ответить, поставив галочку в соответствующем поле в форме. С 1850 по 1880 год Бюро переписи использовало «систему подсчета, которая, по причине увеличения числа требуемых комбинаций классификаций, становилась все более сложной. Только ограниченное число комбинаций могло быть записано в одном подсчете, поэтому приходилось обрабатывать графики 5 или 6 раз для такого же количества независимых подсчетов» «Потребовалось более 7 лет, чтобы опубликовать результаты переписи 1880 года»с использованием методов ручной обработки.

Термин «автоматическая обработка данных» применялся к операциям, выполняемым с помощью оборудования для единичных записей , например, к применению Германом Холлеритом оборудования с перфокартами для переписи населения США 1890 года . «Используя оборудование с перфокартами Холлерита, Бюро переписи смогло завершить табулирование большей части данных переписи 1890 года за 2–3 года по сравнению с 7–8 годами для переписи 1880 года. По оценкам, использование системы Холлерита сэкономило около 5 миллионов долларов на расходах на обработку» в долларах 1890 года, хотя вопросов было вдвое больше, чем в 1880 году.

Компьютеризированная обработка данных, или электронная обработка данных, представляет собой более позднее развитие, при котором компьютер использовался вместо нескольких независимых единиц оборудования. Бюро переписи населения впервые использовало ограниченное количество электронных компьютеров для переписи населения США 1950 года , используя систему UNIVAC I , поставленную в 1952 году.

Термин обработка данных в основном был включен в более общий термин информационные технологии (ИТ). Более старый термин «обработка данных» предполагает более старые технологии. Например, в 1996 году Ассоциация управления обработкой данных (DPMA) изменила свое название на Ассоциацию специалистов по информационным технологиям . Тем не менее, эти термины являются приблизительно синонимами.

• Большие данные
• Вычисление
• Информатика
• Программное обеспечение для принятия решений
• Информационный век
• Информационно-коммуникационные технологии
• Информационные технологии
• Научные вычисления
• Анализ данных
• Базы данных
• Хранилища данных
• Базы знаний
• Алгоритм