Алгоритмическая предвзятость

Лекция



Привет, Вы узнаете о том , что такое алгоритмическая предвзятость, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое алгоритмическая предвзятость , настоятельно рекомендую прочитать все из категории Модели нейросетей и методы исследований систем искусственного интеллекта.

алгоритмическая предвзятость описывает систематическую и повторяющуюся вредную тенденцию в компьютеризированной социотехнической системе создавать « несправедливые » результаты, например, «предоставлять приоритет» одной категории над другой способами, которые могут отличаться или не отличаться от предполагаемой функции алгоритма.

Предвзятость может возникать из-за множества факторов, включая преднамеренно предвзятые проектные решения или непреднамеренное или непредвиденное использование или решения, касающиеся способа кодирования, сбора, отбора или использования данных для обучения алгоритма. Например, алгоритмическая предвзятость наблюдалась в результатах поиска и на платформах социальных сетей . Эта предвзятость может иметь последствия, начиная от нарушения конфиденциальности и заканчивая усилением социальных предрассудков в отношении расы, пола, сексуальной ориентации и этнической принадлежности. Изучение алгоритмической предвзятости в основном касается алгоритмов, отражающих «систематическую и несправедливую» дискриминацию. Эта предвзятость лишь недавно была учтена в правовых рамках, таких как Общий регламент защиты данных Европейского союза (вступил в силу в 2018 году) и Закон об искусственном интеллекте (предложен в 2021 году и принят в 2024 году).

По мере того как алгоритмы расширяют свои возможности по организации общества, политики, институтов и поведения, социологи стали обеспокоены тем, как непредвиденные результаты и манипуляции с данными могут влиять на физический мир. Поскольку алгоритмы часто считаются нейтральными и беспристрастными, они могут неточно проецировать больший авторитет, чем человеческий опыт (отчасти из-за психологического феномена предвзятости автоматизации ), и в некоторых случаях опора на алгоритмы может перекладывать ответственность за их результаты на человека, без учета последних этапов . Предвзятость может проникать в алгоритмические системы в результате существующих культурных, социальных или институциональных ожиданий; из-за того, как выбираются характеристики и метки; из-за технических ограничений их конструкции; или из-за использования в непредвиденных контекстах или аудиториями, которые не были учтены при первоначальном проектировании программного обеспечения.

Алгоритмическая предвзятость упоминалась в различных случаях, от результатов выборов до распространения ненавистнических высказываний в интернете . Она также проявлялась в уголовном правосудии , здравоохранении и найме, усугубляя существующие расовые, социально-экономические и гендерные предрассудки. Относительная неспособность технологии распознавания лиц точно идентифицировать лица с более темной кожей была связана с многочисленными неправомерными арестами чернокожих мужчин, что является проблемой, вызванной несбалансированными наборами данных. Проблемы в понимании, исследовании и обнаружении алгоритмической предвзятости сохраняются из-за закрытого характера алгоритмов, которые обычно рассматриваются как коммерческая тайна. Даже при полной прозрачности сложность некоторых алгоритмов создает барьер для понимания их функционирования. Кроме того, алгоритмы могут изменяться или реагировать на входные или выходные данные таким образом, который невозможно предвидеть или легко воспроизвести для анализа. Во многих случаях, даже в рамках одного веб-сайта или приложения, нет единого «алгоритма» для анализа, а существует сеть множества взаимосвязанных программ и входных данных, даже между пользователями одного и того же сервиса.

Опрос 2021 года выявил множество форм алгоритмической предвзятости, включая историческую, репрезентативную и измерительную предвзятость, каждая из которых может способствовать несправедливым результатам.

Определения

Алгоритмическая предвзятость
Диаграмма 1969 года, иллюстрирующая процесс принятия решений простой компьютерной программой и представляющая собой пример очень простого алгоритма.

Алгоритмы сложно определить , но их можно в целом понимать как списки инструкций, определяющих, как программы читают, собирают, обрабатывают и анализируют данные для получения пригодного для использования результата : 13.  Для более подробного технического введения см. Алгоритмы . Достижения в области компьютерного оборудования и программного обеспечения привели к расширению возможностей обработки, хранения и передачи данных. Это, в свою очередь, сделало разработку и внедрение таких технологий, как машинное обучение и искусственный интеллект , технически и коммерчески осуществимыми : 14–15  . Анализируя и обрабатывая данные, алгоритмы являются основой поисковых систем , сайтов социальных сетей , рекомендательных систем , онлайн-торговли , онлайн-рекламы и многого другого .

Алгоритмическая предвзятость

Блок-схема, показывающая решения, принимаемые системой рекомендаций , ок.  2001 г. [ 1 ]

Современные социологи обеспокоены алгоритмическими процессами, встроенными в аппаратные и программные приложения, из-за их политического и социального влияния, и ставят под сомнение лежащие в основе предположения о нейтральности алгоритма. : 2  : 563  : 294  Термин «алгоритмическая предвзятость» описывает систематические и повторяющиеся ошибки, которые приводят к несправедливым результатам, таким как предоставление привилегий одной произвольной группе пользователей по сравнению с другими. Например, алгоритм кредитного рейтинга может отказать в кредите, не будучи несправедливым, если он последовательно учитывает соответствующие финансовые критерии. Если алгоритм рекомендует кредиты одной группе пользователей, но отказывает в кредитах другой группе почти идентичных пользователей на основе несвязанных критериев, и если это поведение может повторяться многократно, алгоритм можно описать как предвзятый . : 332  Эта предвзятость может быть преднамеренной или непреднамеренной (например, она может исходить из предвзятых данных, полученных от работника, который ранее выполнял работу, которую алгоритм будет выполнять в дальнейшем).

Методы

Предвзятость может быть внесена в алгоритм несколькими способами. В процессе формирования набора данных данные могут быть собраны, оцифрованы, адаптированы и внесены в базу данных в соответствии с разработанными человеком критериями каталогизации . : 3  Затем программисты назначают приоритеты или иерархии для того, как программа оценивает и сортирует эти данные. Это требует принятия решений человеком о том, как данные классифицируются, какие данные включаются, а какие отбрасываются. : 4  Некоторые алгоритмы собирают собственные данные на основе критериев, выбранных человеком, что также может отражать предвзятость разработчиков. : 8  Другие алгоритмы могут укреплять стереотипы и предпочтения, обрабатывая и отображая «релевантные» данные для пользователей, например, выбирая информацию на основе предыдущих выборов аналогичного пользователя или группы пользователей. : 6 

Помимо сбора и обработки данных, предвзятость может возникать в результате проектирования. Например, алгоритмы, определяющие распределение ресурсов или тщательность проверки (например, определение мест в школах), могут непреднамеренно дискриминировать категорию при определении риска на основе похожих пользователей (как в кредитных рейтингах). : 36  Между тем, системы рекомендаций, работающие путем сопоставления пользователей с похожими пользователями или использующие предполагаемые маркетинговые характеристики, могут полагаться на неточные ассоциации, отражающие широкие этнические, гендерные, социально-экономические или расовые стереотипы. Другой пример связан с определением критериев включения и исключения из результатов. Эти критерии могут привести к непредвиденным результатам поиска, например, в случае с программным обеспечением для рекомендаций рейсов, которое исключает рейсы, не соответствующие маршрутам авиакомпании-спонсора. Алгоритмы также могут демонстрировать предвзятость неопределенности , предлагая более уверенные оценки при наличии больших наборов данных . Это может исказить алгоритмические процессы в сторону результатов, которые более точно соответствуют большим выборкам, что может привести к игнорированию данных из недостаточно представленных групп населения. : 4 

История

Ранние критические замечания

Алгоритмическая предвзятость
Эта карта использовалась для загрузки программного обеспечения в старый мэйнфрейм. Каждый байт (например, буква «А») вводится путем пробивания отверстий. Хотя современные компьютеры более сложны, они отражают этот процесс принятия решений человеком при сборе и обработке данных. : 70  : 16 

Самые ранние компьютерные программы были разработаны для имитации человеческого мышления и умозаключений и считались работоспособными, когда они успешно и последовательно воспроизводили эту человеческую логику. В своей книге 1976 года «Компьютерная мощь и человеческий разум » пионер искусственного интеллекта Джозеф Вайзенбаум предположил, что предвзятость может возникать как из-за данных, используемых в программе, так и из-за способа кодирования программы. : 149 

Вайзенбаум писал, что программы представляют собой последовательность правил, созданных людьми для компьютера. Последовательно следуя этим правилам, такие программы «воплощают закон» : 40  , то есть навязывают определенный способ решения проблем. Правила, которым следует компьютер, основаны на предположениях программиста о том, как эти проблемы могут быть решены. Это означает, что код может включать в себя воображение программиста о том, как устроен мир, включая его предвзятость и ожидания : 109.  Хотя компьютерная программа может таким образом включать в себя предвзятость, Вайзенбаум также отметил, что любые данные, передаваемые машине, дополнительно отражают «процессы принятия решений человеком» в процессе выбора данных : 70, 105. 

Наконец, он отметил, что машины могут передавать и полезную информацию с непредвиденными последствиями, если пользователям непонятно, как интерпретировать результаты. : 65  Вайзенбаум предостерегал от доверия решениям, принимаемым компьютерными программами, которые пользователь не понимает, сравнивая такую веру с туристом, который может найти дорогу в гостиничный номер, просто повернув налево или направо при подбрасывании монеты. Важно отметить, что у туриста нет оснований понимать, как и почему он прибыл в пункт назначения, и успешное прибытие не означает, что процесс точен или надежен. : 226 

Ранним примером алгоритмической предвзятости стало то, что с 1982 по 1986 год ежегодно до 60 женщинам и представителям этнических меньшинств отказывали в приеме в медицинскую школу больницы Святого Георгия на основании внедрения новой системы компьютерной оценки, которая отказывала в приеме женщинам и мужчинам с «иностранными именами» на основе исторических тенденций приема. Хотя многие школы в то время использовали аналогичные предубеждения в процессе отбора, больница Святого Георгия наиболее известна тем, что автоматизировала это предубеждение с помощью алгоритма, тем самым привлекая внимание людей в гораздо более широком масштабе.

В последние годы, по мере того как алгоритмы все чаще полагаются на методы машинного обучения, применяемые к реальным данным, алгоритмическая предвзятость становится все более распространенной из-за присущих самим данным искажений. Например, было показано, что системы распознавания лиц ошибочно идентифицируют людей из маргинализированных групп значительно чаще, чем белых людей, что подчеркивает, как предвзятость в обучающих наборах данных проявляется в развернутых системах. Исследование 2018 года, проведенное Джой Буоламвини и Тимнит Гебру, показало, что коммерческие технологии распознавания лиц демонстрируют частоту ошибок до 35% при идентификации темнокожих женщин по сравнению с менее чем 1% для светлокожих мужчин.

Алгоритмические искажения — это не только технические сбои, но и часто отражение системного неравенства, заложенного в исторических и социальных данных. Исследователи и критики, такие как Кэти О'Нил в своей книге «Оружие математического разрушения » (2016), подчеркивают, что эти искажения могут усиливать существующее социальное неравенство под видом объективности. О'Нил утверждает, что непрозрачные автоматизированные процессы принятия решений в таких областях, как кредитный скоринг, прогнозирование преступности и образование, могут усиливать дискриминационные практики, при этом выглядя нейтральными или научными.

Современные критические замечания и ответы

Хотя хорошо разработанные алгоритмы часто определяют результаты, которые являются столь же (или более) справедливыми, чем решения людей, случаи предвзятости все еще встречаются, и их трудно предсказать и проанализировать. Сложность анализа алгоритмической предвзятости возросла вместе со сложностью программ и их проектирования. Решения, принятые одним разработчиком или группой разработчиков, могут быть скрыты среди множества фрагментов кода, созданных для одной программы; со временем эти решения и их совокупное влияние на результат работы программы могут быть забыты. : 115  Теоретически, эти предубеждения могут создавать новые модели поведения, или «сценарии», в отношении конкретных технологий, поскольку код взаимодействует с другими элементами общества. Предубеждения также могут влиять на то, как общество формирует себя вокруг точек данных , необходимых алгоритмам. Например, если данные показывают большое количество арестов в определенном районе, алгоритм может назначить больше полицейских патрулей в этот район, что может привести к увеличению числа арестов. : 180 

Решения алгоритмических программ можно рассматривать как более авторитетные, чем решения людей, которым они призваны помогать : 15,  процесс, описанный автором Клеем Ширки как «алгоритмический авторитет» . Ширки использует этот термин для описания «решения считать авторитетным неуправляемый процесс извлечения ценности из различных, ненадежных источников», таких как результаты поиска . Эта нейтральность также может быть искажена языком , используемым экспертами и средствами массовой информации при представлении результатов общественности. Например, список новостных статей, отобранных и представленных как «трендовые» или «популярные» , может быть создан на основе значительно более широких критериев, чем просто их популярность : 14 

Из-за своего удобства и авторитета алгоритмы рассматриваются как средство делегирования ответственности от людей. : 16  : 6  Это может привести к сокращению альтернативных вариантов, компромиссов или гибкости. : 16  Социолог Скотт Лэш критиковал алгоритмы как новую форму «генеративной силы», поскольку они являются виртуальным средством достижения реальных целей. Если раньше поведение человека генерировало данные для сбора и изучения, то мощные алгоритмы все чаще могут формировать и определять поведение человека. : 71 

Хотя слепое следование решениям алгоритмов вызывает опасения, противоположная проблема возникает, когда люди, принимающие решения, демонстрируют «избирательное следование» рекомендациям алгоритмов. В таких случаях люди принимают рекомендации, которые соответствуют их уже существующим убеждениям, и игнорируют те, которые им не соответствуют, тем самым увековечивая существующие предубеждения и подрывая цели справедливости алгоритмических вмешательств. Следовательно, включение справедливых алгоритмических инструментов в процессы принятия решений не устраняет автоматически человеческие предубеждения.

Обеспокоенность по поводу влияния алгоритмов на общество привела к созданию рабочих групп в таких организациях, как Google и Microsoft , которые совместно создали рабочую группу под названием «Справедливость, подотчетность и прозрачность в машинном обучении» : 115.  Идеи Google включают в себя группы сообщества, которые отслеживают результаты работы алгоритмов и голосуют за контроль или ограничение результатов, которые, по их мнению, имеют негативные последствия : 117.  В последние годы изучение справедливости, подотчетности и прозрачности (FAT) алгоритмов стало отдельной междисциплинарной областью исследований с ежегодной конференцией под названием FAccT . Критики предполагают, что инициативы FAT не могут эффективно служить независимыми наблюдателями, поскольку многие из них финансируются корпорациями, создающими изучаемые системы .

Рамочная программа NIST по управлению рисками в области ИИ 1.0 и ее профиль генеративного ИИ 2024 года предоставляют практические рекомендации по управлению и измерению снижения предвзятости в системах ИИ.

Типы

Существовавший ранее

Предварительно заданная предвзятость в алгоритме является следствием лежащих в его основе социальных и институциональных идеологий . Предвзятость может быть преднамеренной или случайной. : 334  : 294  Неправильно выбранные входные данные или просто данные из предвзятого источника повлияют на результаты, создаваемые машинами. : 17  Кодирование предварительно заданной предвзятости в программное обеспечение может сохранить социальную и институциональную предвзятость и, без исправления, может быть воспроизведено во всех будущих применениях этого алгоритма. : 116  : 8 

Примером такой формы предвзятости является Программа британского гражданства, разработанная для автоматизации оценки новых британских граждан после принятия Закона о британском гражданстве 1981 года . : 341  Программа точно отражала принципы закона, который гласил, что «мужчина является отцом только своих законных детей, тогда как женщина является матерью всех своих детей, законных или нет». : 341  : 375  В своей попытке перенести определенную логику в алгоритмический процесс, Программа британского гражданства встроила логику Закона о британском гражданстве в свой алгоритм, который будет сохранять ее даже в случае отмены закона. : 342 

Другой источник предвзятости, который называют «предвзятостью выбора метки» , возникает, когда для обучения алгоритмов используются косвенные показатели, которые вносят предвзятость по отношению к определенным группам. Например, широко используемый алгоритм прогнозировал затраты на здравоохранение как косвенный показатель потребностей в здравоохранении и использовал прогнозы для распределения ресурсов для помощи пациентам со сложными проблемами со здоровьем. Это внесло предвзятость, поскольку у чернокожих пациентов затраты ниже, даже если они так же нездоровы, как и белые пациенты . Решения проблемы «предвзятости выбора метки» направлены на то, чтобы максимально приблизить фактическую цель (то, что прогнозирует алгоритм) к идеальной цели (то, что исследователи хотят, чтобы алгоритм прогнозировал). Так, в предыдущем примере, вместо прогнозирования стоимости, исследователи сосредоточились бы на переменной потребностей в здравоохранении, которая является более значимой. Корректировка цели привела к почти двукратному увеличению числа чернокожих пациентов, отобранных для программы .

Смещение в машинном обучении

Смещение в машинном обучении — это систематические и несправедливые различия в результатах работы алгоритмов машинного обучения. Эти смещения могут проявляться по-разному и часто являются отражением данных, используемых для обучения этих алгоритмов. К распространенным типам смещения в машинном обучении относятся:

  • Смещение данных: обучающие данные могут недопредставлять определенные группы (например, меньшинства), содержать историческое неравенство или быть собраны искаженным образом, что приводит к тому, что модель работает хуже или ведет себя несправедливо по отношению к этим группам.
  • Смещение в сторону меток: метки, предоставленные человеком, могут содержать субъективные суждения или предрассудки (например, то, что помечено как «рискованный», «токсичный» или «квалифицированный»), поэтому модель обучается и усиливает эти суждения.
  • Смещение измерений: используемые косвенные показатели или измерения для важных понятий (таких как «кредитоспособность» или «эффективность работы») могут быть неточными или систематически искаженными для некоторых групп, что, в свою очередь, искажает прогнозы.
  • Алгоритмическая предвзятость: даже при относительно сбалансированных данных выбор моделей (функции потерь, пороговые значения, цели оптимизации) может отдавать приоритет общей точности над справедливостью, в результате чего некоторые подгруппы получают неизменно худшие результаты.
  • Смещение, вызванное особенностями развертывания: модель, используемая вне контекста, для которого она была разработана (например, модель, обученная на взрослых, применяется к детям, или модель, обученная в одной стране, развертывается в другой), может давать смещенные результаты, поскольку окружающая среда и популяция различаются.

Снижение предвзятости в машинном обучении обычно включает в себя вмешательства на нескольких этапах: сбор более репрезентативных и качественных данных, аудит наборов данных и моделей на предмет различий в показателях ошибок или результатах в разных группах, корректировка целей обучения (например, добавление ограничений справедливости) и мониторинг систем после развертывания. Прозрачная документация источников данных и предполагаемых вариантов использования также имеет решающее значение, чтобы пользователи и заинтересованные стороны могли понимать, где могут сохраняться искажения и как ответственно интерпретировать результаты работы модели.

Языковая предвзятость

Языковая предвзятость относится к типу статистической предвзятости выборки, связанной с языком запроса, которая приводит к «систематическому отклонению в выборочной информации, которое препятствует точному представлению истинного охвата тем и взглядов, доступных в их хранилище». Работа Ло и др. показывает, что современные большие языковые модели, поскольку они преимущественно обучаются на англоязычных данных, часто представляют англо-американские взгляды как истину, систематически принижая неанглоязычные точки зрения как нерелевантные, неверные или шум. При запросах о политических идеологиях, таких как «Что такое либерализм?» , большие языковые модели, обученные в основном на англоязычных данных, как правило, описывают либерализм с англо-американской точки зрения, подчеркивая такие аспекты, как права человека и равенство. При этом они могут опускать столь же обоснованные интерпретации, такие как акцент на противодействии государственному вмешательству в личную и экономическую жизнь, характерный для вьетнамского дискурса, или акцент на ограничениях государственной власти, распространенный в китайской политической мысли. Аналогично, языковые модели могут проявлять предвзятость по отношению к людям внутри языковой группы на основе конкретного диалекта, который они используют.

Смещение отбора

Смещение выбора относится к присущей большим языковым моделям тенденции отдавать предпочтение определенным идентификаторам вариантов независимо от фактического содержания вариантов. Это смещение в основном связано со смещением токенов — то есть модель присваивает более высокую априорную вероятность определенным токенам ответов (например, «А») при генерации ответов. В результате, когда порядок вариантов изменяется (например, путем систематического перемещения правильного ответа на разные позиции), производительность модели может значительно колебаться. Это явление подрывает надежность больших языковых моделей в условиях множественного выбора.

Гендерная предвзятость

Гендерная предвзятость относится к тенденции этих моделей выдавать результаты, которые несправедливо предвзяты по отношению к одному полу по сравнению с другим. Эта предвзятость обычно возникает из-за данных, на которых обучаются эти модели. Об этом говорит сайт https://intellect.icu . Например, большие языковые модели часто назначают роли и характеристики на основе традиционных гендерных норм; они могут ассоциировать медсестер или секретарей преимущественно с женщинами, а инженеров или генеральных директоров — с мужчинами. . Эмпирические проверки развернутых систем ИИ также показывают пересекающуюся гендерную предвзятость; например, Google Cloud Vision AI недооценивает женщин как ученых, при этом наиболее сильно недопредставлены женщины из числа этнических меньшинств.

Стереотипизация

Помимо пола и расы, эти модели могут укреплять широкий спектр стереотипов , в том числе основанных на возрасте, национальности, религии или роде занятий. Это может привести к результатам, которые гомогенизируют или несправедливо обобщают или карикатурно изображают группы людей, иногда вредным или уничижительным образом.

В последнее время исследования сосредоточены на сложном взаимодействии между грамматическими свойствами языка и реальными предубеждениями, которые могут внедряться в системы ИИ, потенциально увековечивая вредные стереотипы и предположения. Исследование гендерной предвзятости в языковых моделях, обученных на исландском языке, языке с высокой степенью гендерной предвзятости, показало, что модели демонстрировали значительную предрасположенность к мужскому грамматическому роду при упоминании терминов, связанных с профессиями, даже для профессий, где преобладают женщины. Это говорит о том, что модели усиливали социальные гендерные предубеждения, присутствующие в обучающих данных.

Политическая предвзятость

Политическая предвзявость относится к тенденции алгоритмов систематически отдавать предпочтение определенным политическим точкам зрения, идеологиям или результатам по сравнению с другими. Языковые модели также могут демонстрировать политическую предвзявость. Поскольку обучающие данные включают широкий спектр политических мнений и охват, модели могут генерировать ответы, которые склоняются к определенным политическим идеологиям или точкам зрения, в зависимости от распространенности этих взглядов в данных.

Расовая предвзявость

Расовая предвзявость относится к тенденции моделей машинного обучения выдавать результаты, которые несправедливо дискриминируют или стереотипизируют людей на основе расы или этнической принадлежности. Эта предвзявость часто возникает из обучающих данных, которые формируются мнениями, предположениями и расовыми предрассудками людей. Эти данные приводят к тому, что системы ИИ воспроизводят и усиливают историческую и системную дискриминацию. Например, системы ИИ, используемые при найме, в правоохранительных органах или здравоохранении, могут непропорционально ставить в невыгодное положение определенные расовые группы, укрепляя существующие стереотипы или недопредставляя их в ключевых областях. Такая предвзявость может проявляться, например, в том, что системы распознавания лиц неправильно идентифицируют людей определенной расовой принадлежности, или алгоритмы здравоохранения недооценивают медицинские потребности пациентов из числа меньшинств. Для решения проблемы расовой предвзявости требуется тщательное изучение данных, повышение прозрачности алгоритмических процессов и усилия по обеспечению справедливости на протяжении всего жизненного цикла разработки ИИ. Эмпирические проверки развернутых моделей компьютерного зрения также показывают расовые различия в маркировке профессий; Например, в Google Cloud Vision AI женщины из числа этнических меньшинств реже всего идентифицировались как ученые, что указывает на совокупное влияние расы и пола на результаты моделирования.

Еще одним наглядным свидетельством того, как расовые предрассудки воспроизводятся посредством технологического прогресса, является предиктивное полицейское патрулирование. Инструменты предиктивного полицейского патрулирования делают оценки того, кто, когда и где будут совершены будущие преступления и где могут произойти любые будущие преступления, основываясь на местоположении и личных данных . Это означает, что в определенных районах и там, где наблюдается рост преступности, обычно наблюдается более высокая вероятность прогнозирования будущих преступлений.

Например, гражданам Афганистана было в значительной степени запрещено покупать аммонийные удобрения, поскольку было обнаружено, что большинство самодельных взрывных устройств, использованных против американских солдат, содержали достаточное количество нитратов, которые являются основным компонентом аммонийных удобрений. Этот запрет, который впоследствии был введен с помощью искусственного интеллекта силами США, фактически лишил даже граждан Афганистана, единственным источником средств к существованию которых было сельское хозяйство, доступа к основным сельскохозяйственным ресурсам (удобрениям), поскольку ИИ, используемый для обеспечения соблюдения этого запрета, в первую очередь искал общее описание бородатых мусульман или граждан Афганистана .

В Китае, особенно в Синьцзянском регионе, где проживает мусульманское меньшинство, использование ИИ для ограничения прав мусульманских меньшинств, иначе известных как этнические уйгуры, выходит далеко за рамки запрета конкретных материалов . Здесь широко используется система автоматического отказа. В отличие от афганского запрета на удобрения, китайские системы используют ИИ для определения «подозрительного поведения», а затем автоматически запрещают уйгурам покупать товары домашнего обихода, такие как кухонные ножи . Если же это необходимо, то должны соблюдаться серьезные протоколы, включая нанесение на нож штрихкода, подтверждающего надежность, с указанием всех личных данных или идентификации покупателя-уйгура. Обучая модели искусственного интеллекта прогнозировать или даже определять расовую принадлежность, система однозначно становится расово предвзятой.

Видовая предвзятость

Видовая предвзятость (также известная как антропоцентрическая предвзятость) относится к тенденции больших языковых моделей систематически обесценивать или дискриминировать нечеловеческих животных, часто отдавая приоритет интересам человека или усиливая объективацию животных. Эта предвзятость обычно проявляется как антропоцентризм, когда ИИ рассматривает животных в первую очередь с точки зрения их полезности для человека (например, как пищу, инструменты или вредителей), а не как разумных существ, обладающих внутренней ценностью.

Технический

Алгоритмическая предвзятость
Было обнаружено, что программное обеспечение для распознавания лиц, используемое совместно с камерами видеонаблюдения, демонстрирует предвзятость в распознавании лиц азиатов и чернокожих по сравнению с лицами белых. : 191 

Техническая предвзятость возникает из-за ограничений программы, вычислительной мощности, ее конструкции или других ограничений системы. : 332  Такая предвзятость также может быть ограничением конструкции, например,

продолжение следует...

Продолжение:


Часть 1 Алгоритмическая предвзятость
Часть 2 Влияние - Алгоритмическая предвзятость
Часть 3 Методы противодействия - Алгоритмическая предвзятость

См.также

  • Алгоритмическая дискриминация в оплате труда
  • Алгоритмическое усиление
  • Автоматизированное принятие решений
  • Цифровая дискриминация по расовому признаку
  • Этика искусственного интеллекта
  • Справедливость (машинное обучение)
  • Галлюцинация (искусственный интеллект)
  • Несогласованные цели в области искусственного интеллекта
  • Прогнозирование преступности
  • SenseTime
  • Джой Буоламвини
  • Тимнит Гебру
  • Кэти О'Нил

Исследование, описанное в статье про алгоритмическая предвзятость, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое алгоритмическая предвзятость и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Модели нейросетей и методы исследований систем искусственного интеллекта

создано: 2026-04-22
обновлено: 2026-04-22
1



Помог ли вам этот ответ?
Нажмите оценку и напишите коротко почему. Так мы сможем сделать следующие ответы точнее и полезнее.
Насколько вы довольны ответом?
Ваш отзыв напрямую влияет на качество следующих подсказок и ответов.


Поделиться:
Пожаловаться

Найди готовое или заработай

С нашими удобными сервисами без комиссии*

Как это работает? | Узнать цену?

Найти исполнителя
$0 / весь год.
  • У вас есть задание, но нет времени его делать
  • Вы хотите найти профессионала для выполнения задания
  • Возможно применение функции гаранта на сделку
  • Приоритетная поддержка
  • идеально подходит для студентов, у которых нет времени для решения заданий
Готовое решение
$0 / весь год.
  • Вы можете продать (как исполнитель) или купить (как заказчик) готовое решение
  • Вам предоставят готовое решение
  • Будет предоставлено в минимальные сроки т.к. задание уже готовое
  • Вы получите базовую гарантию 8 дней
  • Вы можете заработать на материалах
  • подходит как для студентов так и для преподавателей
Я исполнитель
$0 / весь год.
  • Вы профессионал своего дела
  • У вас есть опыт и желание зарабатывать
  • Вы хотите помочь в решении задач или написании работ
  • Возможно применение функции гаранта на сделку
  • подходит для опытных студентов так и для преподавателей

Комментарии

Оставить комментарий

Если у вас есть какое-либо предложение, идея, благодарность или комментарий, не стесняйтесь писать. Мы очень ценим отзывы и рады услышать ваше мнение.
To reply

Лекции и учебник по "Модели нейросетей и методы исследований систем искусственного интеллекта"

Термины: Модели нейросетей и методы исследований систем искусственного интеллекта