Лекция
Привет, сегодня поговорим про мультиагентные системы, обещаю рассказать все что знаю. Для того чтобы лучше понимать что такое мультиагентные системы, теория агентов , настоятельно рекомендую прочитать все из категории Интеллектуальные информационные системы.
Многоагентная система (МАС, англ. Multi-agent system) — это система, образованная несколькими взаимодействующими интеллектуальными агентами. Многоагентные системы могут быть использованы для решения таких проблем, которые сложно или невозможно решить с помощью одного агента или монолитной системы (англ.). Примерами таких задач являются онлайн-торговля , ликвидация чрезвычайных ситуаций , и моделирование социальных структур .
Интеллектуальные мультиагентные системы – одно из новых перспективных направлений искусственного интеллекта, которое сформировалось на основе результатов исследований в области распределенных компьютерных систем, сетевых технологий решения проблем и параллельных вычислений. В мультиагентных технологиях заложен принцип автономности отдельных частей программы, совместно функционирующих в распределенной системе, где одновременно протекает множество взаимосвязанных процессов. Такие программы называются агентами.
Примерами задач, решаемых с помощью МАС, являются:
Агент – автономный искусственный объект, обычно компьютерная программа, обладающая активным мотивированным поведением и способная к взаимодействию с другими объектами в динамических виртуальных средах. Каждый агент может принимать сообщения, интерпретировать их содержание и формировать новые сообщения, которые либо передаются в общую базу, либо направляются другим агентам.
Интеллектуальным агентам присущи следующие основные свойства:
· автономность — способность функционировать без вмешательства со стороны своего владельца и осуществлять контроль собственных действий и внутреннего состояния;
Иногда к этому списку добавляются другие качества, в том числе:
Классификация агентов
Для классификации агентных программ используются два основных признака: 1) степень развития внутреннего представления о внешнем мире; 2) способ принятия решения.
Простейшим видом агента является простой рефлексный агент. Подобные агенты выбирают действия на основе текущего восприятия состояния среды, игнорируя всю остальную историю восприятия. Простые рефлексные агенты чрезвычайно просты, но обладают ограниченным интеллектом.
Рисунок 11.1 – Структура простого рефлексного агента.
В условиях частичной наблюдаемости необходимо, чтобы агент отслеживал изменение среды. Это означает, что агент должен обладать множеством внутренних состояний, смена которых зависит от истории восприятия.
На рис. 11.2 приведена структура агента, действующего с учетом внутреннего состояния. Текущее восприятие комбинируется с прежним внутренним состоянием, в результате совершаются действия и происходит смена внутреннего состояния.
Рисунок 11.2 – Агент, действующий с учетом внутреннего состояния.
Знаний о текущем состоянии среды не всегда достаточно для принятия решения. Тогда агенту требуется не только описание текущего состояния, но и информация о цели, которая описывает желаемые ситуации. Структура агента, действующего на основе цели, показана на рисунке 11.3. Он следит за состоянием среды, а также за множеством целей, которых он пытается достичь, и выбирает действие, направленное на достижение этих целей.
Рисунок 11.3 – Структура агента, действующего на основе целей.
Часто имеют место ситуации, когда для принятия решения недостаточно информации только о целях. Во-первых, если имеются конфликтующие цели, такие, что могут быть достигнуты только некоторые из них (например, или скорость, или безопасность). Во-вторых, если имеется несколько целей, к которым может стремиться агент, но каждая из них может быть достигнута с некоторой вероятностью успеха. В этом случае в программу агента вводится функция полезности которая ставит в соответствие состояниям агента вещественное число, имеющее смысл ожидаемой полезности данного состояния. Агент выбирает действие, которое ведет к наилучшей ожидаемой полезности.
Рисунок 11.4 – Структура агента, основанного на модели и на полезности.
В особый класс выделяют обучающихся агентов. Обучение имеет важное преимущество: оно позволяет агенту функционировать в первоначально неизвестных ему вариантах среды и становиться более компетентным по сравнению с тем, что могли бы позволить только его начальные знания.
В структуре обучающегося агента выделяют на четыре концептуальных компонента, как показано на рисунке 11.5. Производительным компонентом может являться любая из рассмотренных ранее структур агентных программ. Обучающий компонент использует информацию обратной связи от критика с оценкой того, как действует агент, и определяет, каким образом должен быть модифицирован производительный компонент для того, чтобы он успешнее действовал в будущем.
Рисунок 11.5 – Структура обучающегося агента.
Критик сообщает обучающему компоненту, насколько хорошо действует агент с учетом постоянного стандарта производительности, поскольку сами результаты восприятия не дают никаких указаний на то, успешно ли действует агент. Этот стандарт следует рассматривать как полностью внешний по отношению к агенту, поскольку агент не должен иметь возможности его модифицировать. Например, шахматная программа может получить результаты восприятия укатывающие на то, что она поставила мат своему противнику, но ей требуется стандарт производительности, который позволил бы определить, что это – хороший результат, так как сами данные восприятия ничего об этом не говорят.
Последним компонентом обучающегося агента является генератор проблем. Об этом говорит сайт https://intellect.icu . Его задача состоит в том, чтобы предлагать действия, которые должны привести к получению нового и информативного опыта. Дело в том, что если производительный компонент предоставлен самому себе, то продолжает выполнять действия, которые являются наилучшими с точки зрения того, что он знает. Но если агент готов к тому, чтобы немного поэкспериментировать и в краткосрочной перспективе выполнять действия, которые, возможно, окажутся не совсем оптимальными, то он может обнаружить лучшие действия в перспективы.
Взаимодействие между агентами – главная черта MAC, отличающая их от других интеллектуальных систем. Главными характеристиками любого взаимодействия являются направленность, избирательность, интенсивность и динамичность. В контексте MAC эти понятия можно интерпретировать следующим образом:
К базовым видам взаимодействия между агентами относятся:
Взаимодействие агентов обусловлено рядом причин, важнейшими среди которых являются следующие.
Совместимость целей (общая цель). Эта причина обычно порождает взаимодействие по типу кооперации или сотрудничества. При этом следует выяснить, не ведет ли взаимодействие к снижению жизнеспособностиотдельных агентов. Несовместимость целей или убеждений обычно порождает конфликты, позитивная роль которых заключается в стимулировании процессов развития. Известная модель хищник-жертва представляет собой пример одновременного взаимодействия по двум типам кооперация-конфронтация.
Общие ресурсы. Ресурсами будем называть любые средства, используемые для достижения агентами своих целей. Ограниченность ресурсов, которые используются многими агентами, обычно порождает конфликты. Одним их самых простых и эффективных способов разрешения подобных конфликтов является право сильного:сильный агент отбирает ресурсы у слабых. Более тонкие способы разрешения конфликтов обеспечивают переговоры, направленные на достижение компромиссов, в которых учитываются интересы всех агентов. Задачи распределения долей рынка, затрат и прибылей совместных предприятий можно рассматривать как примеры взаимодействия, обусловленного общими ресурсами.
Необходимость привлечения недостающего опыта. Каждый агент обладает ограниченным набором знаний, необходимых ему для реализации собственных и общих целей. В связи с этим ему приходится взаимодействовать с другими агентами. При этом возможны различные ситуации: а) агент способен выполнить задачу самостоятельно; б) агент может обойтись без посторонней помощи, но кооперация позволит решить задачу более эффективным способом; в) агент не способен решить задачу в одиночку. В зависимости от ситуации агенты выбирают тип взаимодействия и могут проявлять разную степень заинтересованности в сотрудничестве.
Взаимные обязательства. Обязательства являются одним из инструментов, позволяющих упорядочить хаотические взаимодействия агентов. Они позволяют предвидеть поведение других агентов, прогнозировать будущее и планировать собственные действия. Можно выделить следующие группы обязательств: а) обязательства перед другими агентами; б) обязательства агента перед группой; в) обязательства группы перед агентом; г) обязательства агента перед самим собой. Формальное представление целей, обязательств, желаний и намерений, а также всех остальных характеристик составляет основу ментальной модели интеллектуального агента, которая обеспечивает его мотивированное поведение в автономном режиме.
Перечисленные причины в различных сочетаниях могут приводить к разным формам взаимодействия между агентами, например:
В процессе моделирования коллективной работы агентов возникает множество проблем:
Особенностью коллективного поведения агентов является то, что их взаимодействие в процессе решения частных задач (или одной общей) порождает новое качество решения этих задач. При этом в моделях координации поведения агентов используются следующие основные идеи:
1. Отказ от поиска наилучшего решения в пользу «хорошего», что приводит к переходу от процедуры строгой оптимизации к поиску приемлемого компромисса, реализующего тот или иной принцип координации.
2. Использование самоорганизации в качестве устойчивого механизма формирования коллективного поведения.
3. Применение рандомизации (случайно-вероятностного способа выбора решений) в механизмах координации для разрешения конфликтов.
4. Реализация рефлексивного управления, сущность которого заключается в том, чтобы заставить субъекта осознанно подчиняться влиянию извне, т. е. сформировать у него такие желания и намерения (интенции), которые совпадают с требованиями окружения.
Наиболее известными моделями координации поведения агентов являются: теоретико-игровые модели, модели коллективного поведения автоматов, модели планирования коллективного поведения, модели на основе BDI-архитектур (Belief — Desire — Intention), модели координации поведения на основе конкуренции.
Теоретико-игровые модели.Предметом теории игр являются задачи выбора решений в условиях неопределенности и конфликта. Наличие конфликта предполагает существование как минимум двух участников, которых называют игроками. Множество решений, возможных для выбора каждым игроком, называется стратегией.Равновесными точками игры (оптимальными решениями) называют такие состояния, когда ни одному из игроков невыгодно менять свою позицию. Понятие равновесия оказалось весьма полезным в теории MAC, поскольку механизм поиска равновесных ситуаций может использоваться как средство самоорганизации коллективного поведения агентов. Следствием подобной интерпретации является подход, в котором необходимые атрибуты коллективного поведения агентов обеспечиваются путем конструирования правил игры. Кроме того, на основе развития теории игр в области MAC предпринимаются попытки построения эффективных, устойчивых, полностью распределенных протоколов переговоров, направленных на координацию коллективного поведения агентов.
Модели коллективного поведения автоматов. Они основаны на идеях рандомизации, самоорганизации и полной распределенности. Модели этого типа подходят для построения протоколов переговоров в задачах, которые характеризуются большим количеством очень простых взаимодействий с неизвестными характеристиками.
Модели планирования коллективного поведения. Планирование может быть централизованным, частично централизованным или распределенным. В последнем случае агенты сами принимают решения о выборе своих действий в процессе координации частных планов, в связи с чем возникают вопросы о рациональной децентрализации, о возможности изменения целей при возникновении конфликтов, а также проблемы вычислительной сложности.
Модели на основе BDI-архитектур. В моделях этого класса применяются аксиоматические методы теории игр и логической парадигмы искусственного интеллекта. Акцент делается на описании содержательных понятий, таких, как убеждения (belief), желания (desire) и намерения (intention). Задача координации поведения агентов решается путем согласования результатов логического вывода в базах знаний отдельных агентов, полученных для текущего состояния внешней среды, в которой действуют агенты. Логический вывод осуществляется непосредственно в процессе функционирования агентов, что приводит к высокой сложности моделей, вычислительным трудностям и к проблемам, связанным с аксиоматическим описанием нетривиальных ситуаций, например, когда перед агентом возникает выбор между решением собственной задачи и выполнением обязательств по отношению к партнерам.
Модели на основе конкуренции. В моделях данного класса используется понятие аукцион в качестве механизма координации поведения агентов. Использование механизма аукциона основано на предположении о возможности явной передачи «полезности» от одного агента к другому или к агенту-аукционеру, причем эта полезность обычно имеет смысл денег.
Аукционы принято разделять на открытые и закрытые. В первом случае предлагаемые цены объявляются всем участникам. В закрытом аукционе о предлагаемых ценах знает только аукционер. Открытые аукционы различаются по способу проведения. В так называемых английских аукционах обычно задается стартовая цена, которая может увеличиваться участниками в ходе торгов. Побеждает тот, кто даст максимальную цену. Голландский аукцион начинается с верхней цены, которая постепенно снижается. Победителем считается тот, кто дал наибольшую текущую цену. Закрытые аукционы разделяют на аукционы первой и второй цены. В аукционах первой цены побеждает тот, кто предложил самую высокую цену, известную только аукционеру. В аукционах второй цены победитель определяется таким же способом, но платит за товар не свою цену, а вторую по величине.
Сам по себе механизм аукциона не затрагивает способов принятия решений участниками. Решения могут приниматься на основе некоторой модели рассуждений, которая может использовать различные типы знаний, доступных агентам, и разнообразные способы их обработки.
Аукцион всегда должен заканчиваться. Для этого в стратегии его проведения должны быть заложены средства для разрешения возможных конфликтов (например, при наличии нескольких победителей). Одним из самых простых способов разрешения конфликтов является рандомизация, когда применяется случайный механизм выбора.
Рассмотрим практические примеры организации взаимодействия в мультиагентных системах с использованием различных механизмов координации поведения.
Электронный магазин.Рассмотрим типичную задачу электронной коммерции, в которой участвуют агенты-продавцы и агенты-покупатели. Торговля осуществляется в электронном магазине, который представляет собой программу, размещенную на сервере. Ее основным назначением является организация взаимодействия агентов, интересы которых совпадают. Агенты действуют по поручению своих персональных пользователей. При этом агенты-продавцы стремятся продать свой товар по максимально возможной цене, а агенты-покупатели стремятся купить нужный товар по минимальной цене. Оба вида агентов действуют автономно и не имеют целей кооперации. Электронный магазин регистрирует появление и исчезновение агентов и организует контакты между ними, делая их «видимыми» друг для друга.
Рисунок 11.6 – Схема электронного магазина.
Поведение агента-продавца характеризуется следующими параметрами:
Агент-покупатель имеет «симметричные» параметры:
Торги ведутся по схеме закрытого аукциона первой цены. Поведение агентов описывается простой моделью, в которой не используются знания и рассуждения. Агент-продавец, получив от электронного магазина информацию о потенциальных покупателях своего товара, последовательно опрашивает их всех с целью принять решение о возможности совершения сделки. Сделка заключается с первым агентом-покупателем, который готов дать за товар запрашиваемую цену. Продавец не может вторично вступить в контакт с любым покупателем до тех пор, пока не опросит всех потенциальных покупателей. При каждом контакте агент-продавец ведет переговоры, предлагая начальную цену либо снижая ее. Агент-покупатель действует аналогичным образом, отыскивая продавцов нужного товара и предлагая им свою цену покупки, которую он может увеличить в процессе переговоров. Любая сделка завершается только в случае ее одобрения пользователем агента.
Данная схема переговоров представляет собой простейший случай взаимодействия автономных агентов, действующих реактивно. Тем не менее итоговое поведение системы вполне адекватно реальности.
Виртуальное предприятие.Создание виртуальных предприятий является одним из современных направлений бизнеса, которое в значительной мере стимулируется быстрым ростом информационных ресурсов и услуг, предоставляемых в сети Интернет. Кроме того, появлению виртуальных предприятий способствует сокращение времени жизненного цикла создаваемых изделий и повышение уровня их сложности, так как при этом возникает необходимость оперативного объединения производственных, технологических и интеллектуальных ресурсов. Еще одна немаловажная причина - ужесточение конкуренции на товарных рынках, стимулирующее объединение предприятий в целях выживания.
Виртуальное предприятие можно определить как кооперацию юридически независимых предприятий, организаций и индивидуумов, которые производят продукцию или услуги в общем бизнес-процессе. Во внешнем мире виртуальное предприятие выступает как единая организация, в которой используются методы управления и администрирования, основанные на применении информационных и телекоммуникационных технологий. Целью создания виртуального предприятия является объединение производственных, технологических, интеллектуальных и инвестиционных ресурсов для продвижения на рынок новых товаров и услуг.
Поскольку каждое реальное предприятие в рамках виртуального выполняет только часть работ из общей технологической цепочки, то при его создании решаются две главные задачи. Первая — это декомпозиция общего бизнес-процесса на компоненты (подпроцессы). Вторая задача заключается в выборе рационального состава реальных предприятий-партнеров, которые будут осуществлять технологический процесс. Первая задача решается с применением методов системного анализа, а для решения второй могут применяться средства мультиагентных технологий.
Задача оптимального распределения множества работ (подпроцессов) среди множества работников (реальных предприятий) в исследовании операций формулируется как задача о назначениях . Ее решение начинается с формирования множеств подпроцессов и потенциальных предприятий-участников. Затем строятся возможные отображения из множества участников на множество подпроцессов и делается выбор наиболее приемлемого отображения, которое соответствует конкретным назначениям предприятий на бизнес-процессы. Для этого можно использовать механизм аукциона. На рис. 7.2 приведена схема аукциона по созданию виртуального предприятия, в котором выделены бизнес-процессы А, В, С, D, Е и участвуют четыре предприятия: Р1, Р2, Р5, P4, претендующие на их реализацию. Каждое из предприятий представлено интеллектуальным агентом, при этом одно из них (Рх) выступает в роли инициатора (аукционера).
Рисунок 11.7 – Схема создания виртуального предприятия.
Перед началом аукциона аукционер (менеджер) формирует базу данных и базу знаний об участниках аукциона. Затем он выставляет на продажу отдельные бизнес-процессы, информация о которых представлена стартовой ценой и требованиями по заданному набору показателей. Каждый претендент выдвигает свои предложения по параметрам, которые он в состоянии обеспечить, и свою цену. Собрав и обработав эти предложения, аукционер с помощью некоторой модели рассуждения упорядочивает потенциальных претендентов с учетом собственной информации о них. После этого он принимает решение о выборе назначений или отвергает их и выдвигает новые предложения.
Следует отметить, что задачу создания виртуального предприятия можно отнести к задачам структурного синтеза сложных систем, удовлетворяющих заданным требованиям.
МАС также относятся к самоорганизующимся системам, так как в них ищется оптимальное решение задачи без внешнего вмешательства. Под оптимальным решением понимается решение, на которое потрачено наименьшее количество энергии в условиях ограниченных ресурсов.
Главное достоинство МАС — это гибкость. Многоагентная система может быть дополнена и модифицирована без переписывания значительной части программы. Также эти системы обладают способностью к самовосстановлению и обладают устойчивостью к сбоям, благодаря достаточному запасу компонентов и самоорганизации.
Многоагентные системы применяются в нашей жизни в графических приложениях, например, в компьютерных играх. Агентные системы также были использованы в фильмах . Теория МАС используется в составных системах обороны. Также МАС применяются в транспорте, логистике, графике, геоинформационных системах, робототехнике и многих других. Многоагентные системы хорошо зарекомендовали себя в сфере сетевых и мобильных технологий, для обеспечения автоматического и динамического баланса нагруженности, расширяемости и способности к самовосстановлению.
В общем, мой друг ты одолел чтение этой статьи об мультиагентные системы. Работы впереди у тебя будет много. Смело пиши комментарии, развивайся и счастье окажется в твоих руках. Надеюсь, что теперь ты понял что такое мультиагентные системы, теория агентов и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Интеллектуальные информационные системы
Ответы на вопросы для самопроверки пишите в комментариях, мы проверим, или же задавайте свой вопрос по данной теме.
Комментарии
Оставить комментарий
Интеллектуальные информационные системы
Термины: Интеллектуальные информационные системы