4 Извлечение знаний из Web - Web Mining кратко

Привет, сегодня поговорим про извлечение знаний из web, обещаю рассказать все что знаю. Для того чтобы лучше понимать что такое извлечение знаний из web, web mining , настоятельно рекомендую прочитать все из категории Интеллектуальный анализ данных.

Рассмотрены проблемы анализа информации из Web, этапы Web Mining, Web Mining и другие Интернет-технологии, а также категории Web Mining. Описане методы извлечения Web-контента (извлечение Web-контента в процессе информационного поиска, извлечение Web-контента для формирования баз данных), а также методы извлечения Web-структур (представления Web-Структура, оценка важности Web-структур, поиск Web-документов с учетом гиперссылок,
кластеризация Web-структур). Приведенные результаты исследований использония Web-ресурсов (исследовательская информация, этап препроцессингу, этап извлечения шаблонов, этап анализа шаблонов и их применение).

ПЛАН

1.Web Mining (проблемы анализа информации из Web, этапы Web Mining, Web Mining и другие интернет-технологии, категории Web Mining).
2 Методы извлечения Web-контента (добыча Web-контента в процессе информационного поиска, извлечения Web-контента для формирования баз данных).
3.Добування Web-структур (представление Web-Структура, оценка важности Web-структур, поиск Web-документов с учетом гиперссылок, кластеризация Web-структур).
4.Исследование использования Web-ресурсов (исследовательская информалиция, этап препроцесинга, этап добычи шаблонов, этап анализа шаблонов и их применение).

Web Mining — это использование методов интеллектуального анализа данных для автоматического обнаружения веб-документов и сервисов, извлечения информации из веб-ресурсов и выявления общих закономерностей в Интернете

В Web Mining можно выделить следующие этапы:

• входной этап (англ. Об этом говорит сайт https://intellect.icu . input stage) — получение «сырых» данных из источников (логи серверов, тексты электронных документов);
• этап предобработки (англ. preprocessing stage) — данные представляются в форме, необходимой для успешного построения той или иной модели;
• этап моделирования (англ. pattern discovery stage);
• этап анализа модели (англ. pattern analysis stage) — интерпретация полученных результатов.

Это общие шаги, которые необходимо пройти для анализа данных сети Интернет. Конкретные процедуры каждого этапа зависят от поставленной задачи. В связи с этим выделяют различные категории Web Mining:

• Web Content Mining;
• Web Structure Mining;
• Web Usage Mining.

Web Content Mining (Извлечение веб-контента) — процесс извлечения знаний из контента документов или их описания, доступных в Интернете[2].Поиск знаний в сети Интернет является непростой и трудоемкой задачей. Именно это направление Web Mining решает ее. Оно основано на сочетании возможностей информационного поиска, машинного обучения и интеллектуального анализа данных.

Web Structure Mining (Извлечение веб-структур) — процесс обнаружения структурной информации в Интернете[3].Данное направление рассматривает взаимосвязи между веб-страницами, основываясь на связях между ними. Построенные модели могут быть использованы для категоризации и поиска схожих веб-ресурсов, а также для распознавания авторских сайтов.

Web Usage Mining (Анализ использования веб-ресурсов) — это автоматическое обнаружение шаблонов в маршруте передвижения пользователя и связанных с ним данными, собранными или приобретенными в результате взаимодействия с одним или несколькими веб-сайтами[4].Это направление основано на извлечении данных из логов веб-серверов. Целью анализа является выявление предпочтений посетителей при использовании тех или иных ресурсов сети Интернет.

Литература:

основная [1; 2; 3; 5];

дополнительная [7; 8; 11; 12].

К сожалению, в одной статье не просто дать все знания про извлечение знаний из web. Но я - старался. Если ты проявишь интерес к раскрытию подробностей,я обязательно напишу продолжение! Надеюсь, что теперь ты понял что такое извлечение знаний из web, web mining и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Интеллектуальный анализ данных