Влияние - Алгоритмическая предвзятость

Это продолжение увлекательной статьи про алгоритмическая предвзятость.

...

поисковая система, показывающая три результата на экране, может восприниматься как система, которая отдает предпочтение трем верхним результатам немного больше, чем следующим трем, как, например, при отображении цен на авиабилеты. : 336  Другой случай — программное обеспечение, которое полагается на случайность для справедливого распределения результатов. Если механизм генерации случайных чисел не является по-настоящему случайным, он может вносить предвзятость, например, смещая выбор в сторону элементов в конце или начале списка. : 332 

Деконтекстуализированный алгоритм использует несвязанную информацию для сортировки результатов, например, алгоритм ценообразования авиабилетов, сортирующий результаты в алфавитном порядке, будет предвзят в пользу American Airlines по сравнению с United Airlines. : 332  Может также иметь место обратная ситуация, когда результаты оцениваются в контексте, отличном от того, в котором они были собраны. Данные могут быть собраны без важного внешнего контекста: например, когда программное обеспечение для распознавания лиц используется камерами видеонаблюдения, но оценивается удаленным персоналом в другой стране или регионе, или оценивается нечеловеческими алгоритмами, не знающими, что происходит за пределами поля зрения камеры . Это может привести к неполному пониманию места преступления, например, к потенциальной ошибке принятия случайных прохожих за тех, кто совершил преступление. : 574 

Наконец, техническая предвзятость может возникнуть из-за попытки формализовать решения в конкретные шаги, исходя из предположения, что поведение человека работает одинаково. Например, программное обеспечение взвешивает данные, чтобы определить, должен ли обвиняемый принять сделку о признании вины, игнорируя при этом влияние эмоций на присяжных. : 332  Еще одним непреднамеренным результатом этой формы предвзятости стало обнаружение в программном обеспечении для обнаружения плагиата Turnitin , которое сравнивает тексты, написанные студентами, с информацией, найденной в интернете, и возвращает оценку вероятности того, что работа студента скопирована. Поскольку программное обеспечение сравнивает длинные текстовые строки, оно с большей вероятностью идентифицирует носителей других языков, чем носителей, поскольку последняя группа может лучше изменять отдельные слова, разбивать строки плагиата или скрывать скопированные фрагменты с помощью синонимов. Поскольку носителям языка легче избежать обнаружения из-за технических ограничений программного обеспечения, это создает ситуацию, когда Turnitin выявляет плагиат у носителей английского языка, в то время как большему числу носителей языка удается избежать обнаружения. : 21–22 

Возникающая предвзятость является результатом использования алгоритмов и опоры на них в новых или непредвиденных контекстах. : 334  Алгоритмы могут быть не скорректированы с учетом новых форм знаний, таких как новые лекарства или медицинские открытия, новые законы, бизнес-модели или меняющиеся культурные нормы. : 334, 336  Это может привести к исключению групп посредством технологий, без четкого понимания того, кто несет ответственность за их исключение. : 179  : 294  Аналогично, проблемы могут возникнуть, когда обучающие данные (образцы, «подаваемые» машине, с помощью которых она моделирует определенные выводы) не соответствуют контекстам, с которыми алгоритм сталкивается в реальном мире.

В 1990 году был выявлен пример возникающей предвзятости в программном обеспечении, используемом для распределения американских студентов-медиков по ординатуре, — Национальной программе распределения ординатуры (NRMP). : 338  Алгоритм был разработан в то время, когда немногие супружеские пары стремились к совместной ординатуре. По мере того, как все больше женщин поступали в медицинские школы, все больше студентов, вероятно, запрашивали ординатуру вместе со своими партнерами. Процесс требовал от каждого заявителя предоставить список предпочтений по размещению по всей территории США, который затем сортировался и назначался, когда больница и заявитель соглашались на совпадение. В случае супружеских пар, где оба стремились к ординатуре, алгоритм сначала учитывал выбор места работы партнера с более высоким рейтингом. В результате часто назначались школы с высоким приоритетом первому партнеру и школы с низким приоритетом второму партнеру, вместо того, чтобы искать компромиссы в предпочтениях по размещению. : 338 

К дополнительным возникающим искажениям относятся:

При сравнении больших наборов данных могут возникать непредсказуемые корреляции. Например, данные, собранные о моделях просмотра веб-страниц, могут совпадать с сигналами, указывающими на конфиденциальные данные (такие как раса или сексуальная ориентация). Выбор в соответствии с определенным поведением или моделями просмотра веб-страниц приведет к результату, почти идентичному дискриминации с использованием прямых данных о расе или сексуальной ориентации. : 6  В других случаях алгоритм делает выводы из корреляций, не имея возможности понять эти корреляции. Например, одна программа сортировки отдавала меньший приоритет астматикам с пневмонией, чем астматикам без пневмонии. Алгоритм программы сделал это, потому что он просто сравнивал показатели выживаемости: астматики с пневмонией находятся в группе наибольшего риска. Исторически по этой же причине больницы обычно оказывают таким астматикам наилучшую и наиболее быструю помощь. [ требуется уточнение ]

Возникновение предвзятости может произойти, когда алгоритм используется неожиданной аудиторией. Например, машины могут требовать от пользователей умения читать, писать или понимать числа, или взаимодействовать с интерфейсом, используя метафоры, которые они не понимают. : 334  Эти исключения могут усугубляться по мере того, как предвзятые или исключающие технологии все глубже интегрируются в общество. : 179 

Помимо исключения, непредвиденные варианты использования могут возникать из-за того, что конечный пользователь полагается на программное обеспечение, а не на свои собственные знания. В одном из примеров, непредвиденная группа пользователей привела к алгоритмической предвзятости в Великобритании, когда программа British National Act была создана в качестве экспериментального образца компьютерными специалистами и иммиграционными юристами для оценки пригодности к британскому гражданству . Разработчики имели доступ к юридической экспертизе, выходящей за рамки конечных пользователей в иммиграционных офисах, чье понимание как программного обеспечения, так и иммиграционного права, вероятно, было бы недостаточным. Агенты, задававшие вопросы, полностью полагались на программное обеспечение, которое исключало альтернативные пути к гражданству, и использовали его даже после того, как новые судебные прецеденты и юридические толкования привели к устареванию алгоритма. В результате разработки алгоритма для пользователей, которые, как предполагалось, хорошо разбираются в иммиграционном праве, алгоритм программного обеспечения косвенно привел к предвзятости в пользу заявителей, которые соответствовали очень узкому набору правовых критериев, установленных алгоритмом, а не более широким критериям британского иммиграционного права. : 342 

Возникающая предвзятость также может создавать петлю обратной связи или рекурсию, если данные, собранные для алгоритма, приводят к реальным результатам, которые затем возвращаются в алгоритм. Например, моделирование программного обеспечения для прогнозирования преступности (PredPol), развернутого в Окленде, штат Калифорния, показало увеличение присутствия полиции в районах проживания чернокожего населения на основе данных о преступлениях, сообщаемых общественностью. Моделирование показало, что общественность сообщала о преступлениях, основываясь на виде полицейских машин, независимо от того, что делала полиция. Моделирование интерпретировало данные о появлении полицейских машин при построении прогнозов преступности и, в свою очередь, назначало еще большее увеличение присутствия полиции в этих районах. Группа анализа данных по правам человека , проводившая моделирование, предупредила, что в местах, где расовая дискриминация является фактором арестов, такие петли обратной связи могут усиливать и увековечивать расовую дискриминацию в полиции. Еще один хорошо известный пример алгоритма, демонстрирующего подобное поведение, — это COMPAS , программное обеспечение, определяющее вероятность того, что человек станет преступником. Программное обеспечение часто критикуют за то, что оно гораздо чаще других считает чернокожих преступниками, а затем возвращает эти данные обратно в себя в случае, если человек становится зарегистрированным преступником, еще больше усиливая предвзятость, созданную набором данных, на котором работает алгоритм.

Рекомендательные системы, такие как те, что используются для рекомендации онлайн-видео или новостных статей, могут создавать петли обратной связи. Когда пользователи нажимают на контент, предложенный алгоритмами, это влияет на следующий набор предложений. Со временем это может привести к тому, что пользователи попадут в « информационный пузырь» и перестанут знать о важном или полезном контенте.

Корпоративные алгоритмы могут быть искажены таким образом, чтобы незаметно отдавать предпочтение финансовым сделкам или соглашениям между компаниями, без ведома пользователя, который может ошибочно принять алгоритм за беспристрастный. Например, American Airlines создала алгоритм поиска рейсов в 1980-х годах. Программное обеспечение предлагало клиентам ряд рейсов от различных авиакомпаний, но учитывало факторы, которые повышали привлекательность их собственных рейсов, независимо от цены или удобства. В показаниях перед Конгрессом США президент авиакомпании прямо заявил, что система была создана с целью получения конкурентного преимущества за счет преференциального отношения. : 2  : 331 

В статье 1998 года, описывающей Google , основатели компании приняли политику прозрачности в результатах поиска в отношении платного размещения, утверждая, что «поисковые системы, финансируемые за счет рекламы, будут по своей природе предвзяты по отношению к рекламодателям и оторваны от потребностей потребителей». Эта предвзятость представляла бы собой «невидимую» манипуляцию пользователем. : 3 

Серия исследований неопределившихся избирателей в США и Индии показала, что результаты поиска в поисковых системах способны изменить результаты голосования примерно на 20%. Исследователи пришли к выводу, что у кандидатов «нет средств для конкуренции», если алгоритм, с намерением или без, повышает позиции страницы в результатах поиска для кандидата-соперника. Пользователи Facebook, которые видели сообщения, связанные с голосованием, с большей вероятностью голосовали. Рандомизированное исследование пользователей Facebook 2010 года показало 20-процентное увеличение (340 000 голосов) среди пользователей, которые видели сообщения, призывающие к голосованию, а также изображения своих друзей, которые уже проголосовали. Юрист Джонатан Зиттрейн предупредил, что это может создать эффект «цифровой манипуляции избирательными округами» на выборах, «избирательное представление информации посредником для достижения своей цели, а не для обслуживания своих пользователей», если им намеренно манипулируют. : 335 

В 2016 году выяснилось, что профессиональный сайт LinkedIn рекомендовал мужские варианты женских имен в ответ на поисковые запросы. Сайт не давал подобных рекомендаций при поиске мужских имен. Например, запрос «Андреа» вызывал вопрос, имели ли пользователи в виду «Эндрю», но запросы по имени «Эндрю» не спрашивали, имели ли пользователи в виду найти «Андреа». Компания заявила, что это результат анализа взаимодействия пользователей с сайтом.

В 2012 году сеть универмагов Target подверглась критике за сбор данных, позволяющих определить, когда покупательницы беременны, даже если они об этом не сообщали, а затем за передачу этой информации маркетинговым партнерам. : 94  Поскольку данные были предсказаны, а не непосредственно наблюдались или сообщались, компания не несла юридической обязанности защищать конфиденциальность этих покупательниц. : 98 

Алгоритмы веб-поиска также обвиняют в предвзятости. Результаты поиска Google могут отдавать приоритет порнографическому контенту в поисковых запросах, связанных с сексуальностью, например, «лесбиянки». Эта предвзятость распространяется и на то, что поисковая система показывает популярный, но сексуализированный контент в нейтральных запросах. Например, статьи «Топ-25 самых сексуальных женщин-спортсменок» отображаются на первой странице результатов поиска по запросу «женщины-спортсменки». : 31  В 2017 году Google скорректировал эти результаты, а также другие, которые содержали информацию о группах ненависти , расистские взгляды, жестокое обращение с детьми и порнографию, а также другой неприятный и оскорбительный контент. Другие примеры включают отображение высокооплачиваемых вакансий для мужчин-кандидатов на сайтах поиска работы. Исследователи также выявили сильную тенденцию к использованию мужских вариантов по умолчанию. В частности, это наблюдается в областях, связанных с несбалансированным гендерным распределением, включая профессии в сфере STEM . Фактически, современные системы машинного перевода не могут воспроизвести реальное распределение женщин-работниц в мире.

В 2015 году Amazon.com отключила разработанную ею систему искусственного интеллекта для проверки заявок на работу, когда обнаружила, что она предвзята по отношению к женщинам. Инструмент отбора исключал кандидаток, которые учились в женских колледжах, и резюме, содержащие слово «женский». Аналогичная проблема возникла с сервисами потоковой передачи музыки — в 2019 году было обнаружено, что алгоритм рекомендательной системы, используемый Spotify, был предвзят по отношению к женщинам-исполнительницам. Рекомендации песен Spotify предлагали больше исполнителей-мужчин, чем женщин.

Алгоритмы подвергались критике как метод сокрытия расовых предрассудков при принятии решений. : 158  Из-за того, как в прошлом обращались с определенными расами и этническими группами, данные часто могут содержать скрытые предубеждения. Например, чернокожие, как правило, получают более длительные сроки заключения, чем белые, совершившие то же преступление. Это потенциально может означать, что система усиливает исходные предубеждения в данных.

В 2015 году Google принесла извинения паре чернокожих пользователей, которые пожаловались на то, что алгоритм распознавания изображений в их приложении «Фотографии» идентифицировал их как горилл . В 2010 году камеры Nikon подверглись критике, когда алгоритмы распознавания изображений постоянно спрашивали пользователей азиатского происхождения, моргают ли они. Такие примеры являются результатом предвзятости в наборах биометрических данных . Биометрические данные берутся из аспектов тела, включая расовые признаки, наблюдаемые или предполагаемые, которые затем могут быть преобразованы в точки данных. : 154  Технология распознавания речи может иметь разную точность в зависимости от акцента пользователя. Это может быть вызвано недостатком обучающих данных для носителей этого акцента.

Биометрические данные о расе также могут быть получены путем вывода, а не путем наблюдения. Например, исследование 2012 года показало, что имена, обычно ассоциируемые с чернокожими, с большей вероятностью давали результаты поиска, указывающие на записи об аресте, независимо от того, есть ли какие-либо полицейские записи об этом человеке. Исследование 2015 года также показало, что предполагается, что у чернокожих и азиатов менее функционирующие легкие из-за того, что данные о расовой принадлежности и профессиональном воздействии не были включены в модель прогнозирования функции легких алгоритма.

В 2019 году исследование показало, что алгоритм здравоохранения, продаваемый компанией Optum, отдавал предпочтение белым пациентам перед более больными чернокожими пациентами. Алгоритм прогнозирует, во сколько пациенты обойдутся системе здравоохранения в будущем. Однако стоимость не является расово нейтральной, поскольку чернокожие пациенты несли примерно на 1800 долларов меньше медицинских расходов в год, чем белые пациенты с тем же количеством хронических заболеваний, что привело к тому, что алгоритм оценил белых пациентов как находящихся в равной степени подверженных риску будущих проблем со здоровьем, как и чернокожих пациентов, которые страдали от значительно большего числа заболеваний.

Исследование, проведенное исследователями из Калифорнийского университета в Беркли в ноябре 2019 года, показало, что алгоритмы ипотечного кредитования дискриминируют латиноамериканцев и афроамериканцев, дискриминируя меньшинства на основе «кредитоспособности», что основано на законе США о справедливом кредитовании, который позволяет кредиторам использовать идентификационные меры для определения того, достоин ли человек получения кредита. Эти конкретные алгоритмы присутствовали в финтех-компаниях и, как было показано, дискриминируют меньшинства. [ не требуется основной источник ]

Другое исследование, опубликованное в августе 2024 года, посвящено крупным языковым моделям и изучает, как языковые модели увековечивают скрытый расизм, в частности, посредством диалектных предрассудков по отношению к носителям афроамериканского английского (ААЭ). В нем подчеркивается, что эти модели демонстрируют больше негативных стереотипов о носителях ААЭ, чем любые зафиксированные человеческие предубеждения, в то время как их явные стереотипы более позитивны. Это несоответствие вызывает опасения по поводу потенциально вредных последствий таких предубеждений в процессах принятия решений.

Исследование 2018 года показало, что коммерческие системы классификации пола имели значительно более высокие показатели ошибок для женщин с более темной кожей, достигающие 34,7%, по сравнению с почти идеальной точностью для мужчин со светлой кожей.

Алгоритмы уже имеют множество применений в правовых системах. Примером этого является COMPAS , коммерческая программа, широко используемая судами США для оценки вероятности рецидива подсудимого . ProPublica утверждает, что средний уровень риска рецидива, присвоенный COMPAS чернокожим подсудимым, значительно выше, чем средний уровень риска, присвоенный COMPAS белым подсудимым, и что чернокожие подсудимые в два раза чаще ошибочно получают ярлык «высокий риск», чем белые подсудимые.

Одним из примеров является использование оценок риска при вынесении приговоров по уголовным делам в Соединенных Штатах и на слушаниях по условно-досрочному освобождению : судьям представлялась сгенерированная алгоритмом оценка, призванная отразить риск повторного совершения преступления заключенным. В период с 1920 по 1970 год национальность отца преступника учитывалась при оценке риска. : 4  Сегодня эти оценки предоставляются судьям в Аризоне, Колорадо, Делавэре, Кентукки, Луизиане, Оклахоме, Вирджинии, Вашингтоне и Висконсине. Независимое расследование ProPublica показало , что оценки были неточными в 80% случаев и непропорционально искажены, предполагая, что чернокожие подвержены риску рецидива на 77% чаще, чем белые.

В одном исследовании, посвященном изучению «Риска, расы и рецидивизма: предвзятость прогнозирования и неравномерное воздействие», утверждается, что вероятность того, что чернокожие обвиняемые будут ошибочно классифицированы как представляющие более высокий риск, вдвое выше (45 процентов против 23 процентов), чем вероятность того, что обвиняемые европеоидной расы будут ошибочно отнесены к категории лиц, представляющих более высокий риск, несмотря на то, что объективно у них не было задокументированного рецидивизма в течение двухлетнего периода наблюдения.

В контексте предварительного заключения в одном из юридических журналов утверждается, что алгоритмические оценки рисков нарушают права, гарантированные 14-й поправкой к Конституции США, на основе принципа равной защиты по признаку расы, поскольку алгоритмы, как утверждается, являются дискриминационными по своей сути, приводят к неравному обращению и не являются узкоспециализированными.

В 2017 году, согласно внутренним документам Facebook, было обнаружено, что алгоритм Facebook, разработанный для удаления разжигающих ненависть высказываний в интернете, отдавал предпочтение белым мужчинам перед чернокожими детьми при оценке неприемлемого контента. Алгоритм, представляющий собой комбинацию компьютерных программ и экспертов по проверке контента, был создан для защиты широких категорий, а не конкретных подгрупп категорий. Например, посты, осуждающие «мусульман», блокировались, а посты, осуждающие «радикальных мусульман», разрешались. Непредвиденным результатом работы алгоритма стало разрешение разжигания ненависти в отношении чернокожих детей, поскольку они осуждают подгруппу «детей» среди чернокожих, а не «всех чернокожих», тогда как «все белые мужчины» вызывали блокировку, поскольку белые и мужчины не считаются подгруппами. Также было обнаружено, что Facebook позволяет покупателям рекламы выбирать категорию пользователей «ненавистников евреев», что, по словам компании, является непреднамеренным результатом алгоритмов, используемых для оценки и категоризации данных. Дизайн компании также позволял покупателям рекламы блокировать доступ афроамериканцев к рекламе жилья.

Хотя алгоритмы используются для отслеживания и блокировки разжигания ненависти, некоторые из них, как выяснилось, в 1,5 раза чаще помечали как разжигание ненависти информацию, размещенную чернокожими пользователями, и в 2,2 раза чаще помечали как разжигание ненависти информацию, написанную на афроамериканском английском языке .

Программное обеспечение для камер видеонаблюдения может считаться по своей сути политическим, поскольку оно требует алгоритмов для различения нормального и аномального поведения, а также для определения того, кто должен находиться в определенных местах в определенное время. : 572  Было показано, что способность таких алгоритмов распознавать лица в рамках расового спектра ограничена расовым разнообразием изображений в их обучающей базе данных; если большинство фотографий принадлежат одной расе или полу, программное обеспечение лучше распознает других представителей этой расы или пола. Однако даже проверки этих систем распознавания изображений этически несостоятельны, и некоторые ученые предполагают, что контекст технологии всегда будет оказывать непропорциональное воздействие на сообщества, чьи действия чрезмерно отслеживаются. Например, анализ программного обеспечения, используемого для идентификации людей на изображениях с камер видеонаблюдения , проведенный в 2002 году , выявил несколько примеров предвзятости при сравнении с криминальными базами данных. Было установлено, что программное обеспечение чаще идентифицирует мужчин, чем женщин, пожилых людей чаще, чем молодых, и чаще, чем белых, идентифицирует азиатов, афроамериканцев и представителей других рас. : 190  Исследование 2018 года показало, что программное обеспечение для распознавания лиц, скорее всего, точно идентифицирует светлокожих (обычно европейцев) мужчин, с несколько более низкими показателями точности для светлокожих женщин. Темнокожие мужчины и женщины значительно реже точно идентифицируются программным обеспечением для распознавания лиц. Эти различия объясняются недостаточным представительством темнокожих участников в наборах данных, использованных для разработки этого программного обеспечения.

В 2011 году пользователи приложения для знакомств геев Grindr сообщили, что алгоритм рекомендаций магазина Android связывал Grindr с приложениями, предназначенными для поиска сексуальных преступников, что, по мнению критиков, неверно связывало гомосексуальность с педофилией . Писатель Майк Ананни раскритиковал эту ассоциацию в The Atlantic , утверждая, что подобные ассоциации еще больше стигматизируют геев . В 2009 году онлайн-ритейлер Amazon удалил 57 000 книг после того, как изменение алгоритма расширило его черный список «контента для взрослых», включив в него любые книги, затрагивающие темы сексуальности или гомосексуальности, такие как получивший признание критиков роман « Горбатая гора» . : 5 

В 2019 году было обнаружено, что в Facebook поисковые запросы по фразе «фотографии моих подруг» выдавали такие варианты, как «в бикини» или «на пляже». В отличие от этого, поисковые запросы по фразе «фотографии моих друзей-мужчин» не давали результатов.

Технология распознавания лиц, как выяснилось, создает проблемы для трансгендерных людей. В 2018 году появились сообщения о том, что водители Uber, являющиеся трансгендерами или находящиеся в процессе перехода, испытывали трудности с программным обеспечением распознавания лиц, которое Uber использует в качестве встроенной меры безопасности. В результате этого некоторые учетные записи трансгендерных водителей Uber были заблокированы, что привело к потере заказов и потенциально к увольнению, и все это из-за того, что программное обеспечение распознавания лиц испытывало трудности с распознаванием лица трансгендерного водителя, находящегося в процессе перехода. Хотя решением этой проблемы, казалось бы, должно быть включение трансгендерных людей в обучающие наборы для моделей машинного обучения, в одном случае видеоролики с участием трансгендерных людей на YouTube, собранные для использования в обучающих данных, не получили согласия от трансгендерных людей, которые были включены в видео, что создало проблему нарушения конфиденциальности.

Также в 2017 году в Стэнфордском университете было проведено исследование, в котором тестировались алгоритмы системы машинного обучения, способной, как утверждалось, определять сексуальную ориентацию человека на основе его изображений лица. Модель в этом исследовании правильно предсказывала различие между геями и гетеросексуальными мужчинами в 81% случаев и между геями и гетеросексуальными женщинами в 74% случаев. Это исследование вызвало негативную реакцию со стороны ЛГБТКИА-сообщества, которое опасалось возможных негативных последствий, которые эта система ИИ могла бы иметь для представителей ЛГБТКИА-сообщества, подвергая их риску «раскрытия » своей сексуальной ориентации против их воли.

Хотя алгоритмическая справедливость оценивалась на основе различных аспектов предвзятости – таких как пол, раса и социально-экономический статус, инвалидность часто остается вне этого списка. Маргинализация, с которой в настоящее время сталкиваются люди с инвалидностью в обществе, отражается в системах и алгоритмах ИИ, создавая еще большую изоляцию

Изменчивый характер инвалидности и ее субъективная характеристика затрудняют ее вычислительное решение. Отсутствие исторической глубины в определении инвалидности, сборе данных о ее распространенности и частоте встречаемости в анкетах, а также установлении признания усугубляет противоречия и неоднозначность в ее количественной оценке и расчетах. Определение инвалидности долгое время обсуждалось, в последнее время оно смещается от медицинской модели к социальной , которая устанавливает, что инвалидность является результатом несоответствия между взаимодействием людей и барьерами в их среде, а не нарушениями и состоянием здоровья. Инвалидность также может быть ситуативной или временной , рассматриваемой как находящаяся в постоянном состоянии изменений. Инвалидность невероятно разнообразна , охватывает широкий спектр и может быть уникальной для каждого человека. Идентичность людей может варьироваться в зависимости от конкретных типов инвалидности, которые они испытывают, от того, как они используют вспомогательные технологии и кого они поддерживают. Высокий уровень изменчивости опыта людей значительно персонализирует проявление инвалидности. Пересекающиеся идентичности и пересекающийся опыт исключаются из статистики и наборов данных , следовательно, они недостаточно представлены и отсутствуют в обучающих данных . Поэтому модели машинного обучения обучаются неравномерно, и системы искусственного интеллекта увековечивают еще большую алгоритмическую предвзятость . Например, если люди с нарушениями речи не включены в обучение функций голосового управления и интеллектуальных помощников ИИ, они не могут использовать эту функцию, или ответы, полученные от Google Home или Alexa, крайне низкого качества.

Учитывая стереотипы и стигму, которые до сих пор существуют в отношении инвалидности, деликатный характер раскрытия этих идентифицирующих характеристик также влечет за собой огромные проблемы с конфиденциальностью. Поскольку раскрытие информации об инвалидности может быть табуированным и способствовать дальнейшей дискриминации этой группы населения, существует недостаток явных данных об инвалидности, доступных для взаимодействия алгоритмических систем. Люди с инвалидностью сталкиваются с дополнительным вредом и рисками в отношении своей социальной поддержки, стоимости медицинского страхования, дискриминации на рабочем месте и других основных потребностей, раскрывая свой статус инвалидности. Алгоритмы еще больше усугубляют этот разрыв, воспроизводя предвзятость, которая уже существует в социальных системах и структурах.

Хотя пользователи автоматически получают результаты, которые "заполняются", Google не смог удалить сексистский и расистский текст автозаполнения. Например, в книге Сафии Нобл "Алгоритмы угнетения: как поисковые системы усиливают расизм" приводится пример поиска "чернокожих девушек", который, как сообщается, приводит к порнографическим изображениям. Google заявил, что не может удалить эти страницы, если они не считаются незаконными.

Ряд проблем препятствует изучению крупномасштабной алгоритмической предвзятости, затрудняя применение академически строгих исследований и общественное понимание. : 5 

В литературе, посвященной алгоритмической предвзятости, основное внимание уделяется устранению проблемы справедливости, однако определения справедливости часто несовместимы друг с другом и с реальностью оптимизации машинного обучения. Например, определение справедливости как «равенства результатов» может просто означать, что система дает одинаковый результат для всех людей, в то время как справедливость, определяемая как «равенство обращения», может явно учитывать различия между отдельными лицами. : 2  В результате справедливость иногда описывается как находящаяся в конфликте с точностью модели, что указывает на внутренние противоречия между приоритетами социального благополучия и приоритетами поставщиков, разрабатывающих эти системы. : 2  В ответ на это противоречие исследователи предложили проявлять большую осторожность при проектировании и использовании систем, использующих потенциально предвзятые алгоритмы, при этом «справедливость» определяется для конкретных приложений и контекстов.

Алгоритмические процессы сложны и часто выходят за рамки понимания людей, которые их используют. : 2  : 7  Крупномасштабные операции могут быть непонятны даже тем, кто участвует в их создании. Методы и процессы современных программ часто затуманены невозможностью знать все перестановки входных или выходных данных кода. : 183  Социальный ученый Бруно Латур определил этот процесс как «черный ящик» , процесс, при котором «научная и техническая работа становится невидимой благодаря собственному успеху. Когда машина работает эффективно, когда факт решен, нужно сосредоточиться только на ее входных и выходных данных, а не на ее внутренней сложности. Таким образом, парадоксально, чем больше наука и технология

продолжение следует...

Продолжение:

Часть 1 Алгоритмическая предвзятость
Часть 2 Влияние - Алгоритмическая предвзятость
Часть 3 Методы противодействия - Алгоритмическая предвзятость

См.также