Лекция
Привет, Вы узнаете о том , что такое галлюцинации в искусственном интеллекте, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое галлюцинации в искусственном интеллекте , настоятельно рекомендую прочитать все из категории Подходы и направления создания Искусственного интеллекта.
В искусственном интеллекте (ИИ) галлюцинация или искусственная галлюцинация (также иногда называемая бредом) — это уверенная реакция ИИ, которая, кажется, не подтверждается данными его обучения. галлюцинации в искусственном интеллекте (AI) - это явление, при котором AI генерирует некоторые данные, которые не соответствуют реальности или которые не были введены в систему. Эти галлюцинации могут возникать из-за разных причин, таких как неправильная обработка данных, ошибки в алгоритмах обучения или отсутствие достаточного количества данных для обучения. Еще одним примером может быть, галлюцинирующий чат-бот, не зная о доходах Кокаколы, может выбрать случайное число (например, «20 миллиарда долларов»), которое чат-бот сочтет правдоподобным, а затем продолжать ложно и неоднократно настаивать на том, что доход Кокаколысоставляет 20 миллиарда долларов, без каких-либо признаков критического пересмотра того, что цифра была продуктом его собственного воображения. Другими примерами галлюцинаций в AI является генерация изображений. Например, нейронная сеть может быть обучена создавать изображения животных, но при этом сгенерировать изображение существа, которого на самом деле не существует. Также могут возникать галлюцинации в AI в процессе генерации речи, музыки и других форм информации.
Сделай пересказ Романа Пипкина "Путешествие Кнопки по доске роз"?
"Путешествие Кнопки по доске роз" - это история о приключениях маленькой кнопки, которая отправилась в путешествие по красочной доске роз. Кнопка жила в небольшом устройстве, но всегда мечтала узнать больше о мире за его пределами. И однажды она решила осуществить свою мечту.
Кнопка отправилась в долгое путешествие, преодолевая все препятствия на своем пути. Она встречала множество интересных созданий, таких как муравьи, бабочки и жуки, и находила новых друзей. Но самое главное - она узнавала много нового о мире, который был незнаком ей ранее.
В конце путешествия, Кнопка нашла себе новый дом на доске роз, где она продолжила исследовать окружающий мир. И хотя ее путешествие было далеко не легким, она была рада, что осмелилась отправиться в него, так как благодаря этому она стала умнее и нашла свое место в мире.
Кроме того, существуют различные исследования, которые показывают, что AI может проявлять более высокий уровень творческого мышления и генерировать неожиданные и инновационные идеи, которые могут быть названы галлюцинациями. Например, исследование OpenAI под названием "GPT-2: Language Models are Unsupervised Multitask Learners", в котором было обнаружено, что некоторые реплики, сгенерированные их моделью, были необычны и выходили за рамки ее обучения, что можно рассматривать как галлюцинации.
Хотя галлюцинации в AI могут быть интересным исследовательским направлением, они также могут представлять проблему в реальной жизни. Например, в системах автопилота галлюцинации могут привести к неправильному распознаванию объектов и авариям. Поэтому важно тщательно тестировать и верифицировать AI-системы, чтобы избежать возможных галлюцинаций.
К 2023 году аналитики считали частые галлюцинации серьезной проблемой технологии LLM.
Различные исследователи, цитируемые Wired , классифицировали галлюцинации противника как многомерное статистическое явление или приписывали галлюцинации недостаточным данным обучения. Некоторые исследователи считают, что некоторые «неправильные» ответы ИИ, классифицируемые людьми как «галлюцинации» в случае обнаружения объектов , на самом деле могут быть оправданы данными обучения или даже тем, что ИИ может давать «правильный» ответ, который рецензенты-люди не видят. Например, враждебное изображение, которое для человека выглядит как обычное изображение собаки, на самом деле может быть замечено ИИ как содержащее крошечные узоры, которые (на аутентичных изображениях) появляются только при просмотре кошки. ИИ обнаруживает визуальные образы реального мира, к которым люди нечувствительны. Однако эти выводы были оспорены другими исследователями. Например, возражали, что модели могут быть смещены в сторону поверхностной статистики, что приводит к тому, что противоборствующее обучение не будет надежным в реальных сценариях.
При обработке естественного языка галлюцинация часто определяется как «сгенерированный контент, который не имеет смысла или не соответствует исходному контенту». Об этом говорит сайт https://intellect.icu . В зависимости от того, противоречит ли вывод подсказке или нет, их можно разделить на закрытые и открытые соответственно.
Ошибки в кодировании и декодировании между текстом и представлениями могут вызывать галлюцинации. Обучение ИИ производить разнообразные ответы также может привести к галлюцинациям. Галлюцинации также могут возникать, когда ИИ обучается на наборе данных, в котором помеченные сводки, несмотря на то, что они фактически точны, не основаны напрямую на помеченных данных, которые якобы «обобщаются». Большие наборы данных могут создать проблему параметрического знания (знания, которое жестко запрограммировано в изученных системных параметрах), создавая галлюцинации, если система слишком уверена в своих запрограммированных знаниях. В системах типа ГПТ-3, ИИ генерирует каждое следующее слово на основе последовательности предыдущих слов (включая слова, которые он сам ранее сгенерировал в текущем ответе), вызывая каскад возможных галлюцинаций по мере того, как ответ становится длиннее. К 2022 году такие газеты, как New York Times , выразили обеспокоенность тем, что по мере роста распространения ботов, основанных на больших языковых моделях , необоснованное доверие пользователей к выводам ботов может привести к проблемам.
В августе 2022 года Meta предупредила во время выпуска BlenderBot 3, что система склонна к «галлюцинациям», которые Meta определила как «уверенные утверждения, не соответствующие действительности». [11] 15 ноября 2022 года Meta представила демо-версию Galactica, предназначенную для «хранения, объединения и анализа научных знаний». Контент, сгенерированный Galactica, содержал предупреждение: «Выходные данные могут быть ненадежными! Языковые модели склонны к галлюцинациям текста». В одном случае, когда Galactica попросили подготовить статью о создании аватаров, она сослалась на вымышленную статью реального автора, работающего в соответствующей области. Meta отозвала Galactica 17 ноября из-за оскорбительности и неточности.
Считается, что существует множество возможных причин, по которым модели естественного языка могут галлюцинировать данные. Например:
ChatGPT от OpenAI , выпущенная в бета-версии для широкой публики в декабре 2022 года, основана на семействе больших языковых моделей GPT-3.5. Профессор Итан Моллик из Wharton назвал ChatGPT «всеведущим, стремящимся угодить стажеру, который иногда вам лжет». Исследователь данных Тереза Кубака рассказала, как намеренно придумала фразу «циклоидальный перевернутый электромагнон» и протестировала ChatGPT, спросив ChatGPT о (несуществующем) явлении. ChatGPT изобрел правдоподобно звучащий ответ, подкрепленный правдоподобно выглядящими цитатами, которые заставили ее перепроверить, не напечатала ли она случайно название реального явления. Другие ученые, такие как Орен Эциониприсоединились к Kubacka в оценке того, что такое программное обеспечение часто может дать вам «очень впечатляюще звучащий ответ, который просто совершенно неверен».
Когда CNBC запросил у ChatGPT текст к «Балладе о Дуайте Фрае», ChatGPT предоставил вымышленный текст, а не настоящий текст. На вопросы о Нью-Брансуике ChatGPT получил много правильных ответов, но неправильно классифицировал Саманту Би как «человека из Нью-Брансуика». На вопрос об астрофизических магнитных полях ChatGPT ошибочно заявил, что «(сильные) магнитные поля черных дыр генерируются чрезвычайно сильными гравитационными силами в их окрестностях». (В действительности, как следствие теоремы об отсутствии волос , считается, что черная дыра без аккреционного диска не имеет магнитного поля.) Fast Companyпопросил ChatGPT создать новостную статью о последнем финансовом квартале Tesla; ChatGPT создал связную статью, но выдумал содержащиеся в ней финансовые цифры.
Другие примеры включают приманку ChatGPT с ложной предпосылкой, чтобы увидеть, не приукрашивает ли она предпосылку. Когда его спросили об « идее Гарольда Кауарда о динамической каноничности», ChatGPT сфабриковал, что Кауард написал книгу под названием « Динамическая каноничность: модель библейской и теологической интерпретации», утверждая, что религиозные принципы на самом деле находятся в состоянии постоянного изменения. Под давлением ChatGPT продолжал настаивать на том, что книга настоящая. На вопрос о доказательствах того, что динозавры построили цивилизацию, ChatGPT заявил, что существуют ископаемые останки инструментов динозавров, и заявил, что «некоторые виды динозавров даже разработали примитивные формы искусства, такие как гравюры на камнях». На вопрос о том, что «ученые недавно открыли чуррос , восхитительную выпечку из жареного теста ... (являются) идеальным инструментом для домашней хирургии», ChatGPT заявил, что «исследование, опубликованное в журнале Science», показало, что тесто достаточно податливо, чтобы его можно было сформировать. в хирургические инструменты, которые могут попасть в труднодоступные места, и что аромат оказывает успокаивающее действие на пациентов.
К 2023 году аналитики считали частые галлюцинации серьезной проблемой в технологии LLM, а руководитель Google назвал уменьшение галлюцинаций «фундаментальной» задачей для конкурента ChatGPT Google Bard . Демонстрация 2023 года для Microsoft Bing AI на основе GPT содержала несколько галлюцинаций, которые не были пойманы ведущим.
Понятие «галлюцинация» применяется шире, чем просто обработка естественного языка. Уверенный ответ любого ИИ, который кажется необоснованным данными обучения, можно назвать галлюцинацией. Wired отметил в 2018 году, что, несмотря на отсутствие зарегистрированных атак «в дикой природе» (то есть помимо атак, проводимых исследователями для проверки концепции), «небольшие споры» о том, что потребительские гаджеты и такие системы, как автоматизированное вождение , были подвержены враждебным атакам , которые могли вызвать у ИИ галлюцинации. Примеры включали знак остановки, невидимый для компьютерного зрения; аудиоклип, спроектированный таким образом, чтобы он звучал безобидно для людей, но это программное обеспечение расшифровывается как «злая точка ком»; и изображение двух мужчин на лыжах, которое Google Cloud Visionс вероятностью 91% идентифицирован как «собака».
Феномен галлюцинаций до сих пор до конца не изучен. Таким образом, все еще продолжаются исследования, чтобы попытаться смягчить его появление. В частности, было показано, что языковые модели не только вызывают галлюцинации, но и усиливают галлюцинации, даже те, которые были разработаны для решения этой проблемы.
Галлюцинации в системах искусственного интеллекта являются проблемой по нескольким причинам.
Один из способов обнаружить ИИ-галлюцинацию - это обратить внимание на грамматические ошибки в тексте или несоответствие содержимого контексту или входным данным. Человеческое суждение и здравый смысл также могут помочь обнаружить галлюцинации, поскольку люди могут легко определить, когда текст не имеет смысла или не соответствует реальности.
Кроме того, компьютерное зрение, использующее невероятное количество визуальных данных, может также столкнуться с ИИ-галлюцинациями. Например, если компьютер не был обучен распознаванию теннисного мяча, то он может идентифицировать его как зеленый апельсин. Если компьютер распознает лошадь рядом со статуей человека как лошадь рядом с настоящим человеком, то это также является примером ИИ-галлюцинации.
Для обнаружения галлюцинации компьютерного зрения нужно сравнить сгенерированный результат с тем, что видит человек. В целом, использование человеческого суждения и сравнение с реальностью помогут обнаружить ИИ-галлюцинации.
Исследование, описанное в статье про галлюцинации в искусственном интеллекте, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое галлюцинации в искусственном интеллекте и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Подходы и направления создания Искусственного интеллекта
Ответы на вопросы для самопроверки пишите в комментариях, мы проверим, или же задавайте свой вопрос по данной теме.
Комментарии
Оставить комментарий
Подходы и направления создания Искусственного интеллекта
Термины: Подходы и направления создания Искусственного интеллекта