Лекция 79 мин.
Это окончание невероятной информации про алгоритмическая предвзятость.
...
преуспевают, тем более непрозрачными и неясными они становятся». Другие критиковали метафору «черного ящика», предполагая, что современные алгоритмы — это не один черный ящик, а сеть взаимосвязанных ящиков. : 92
Примером такой сложности может служить диапазон входных данных для персонализации обратной связи. Социальная сеть Facebook в 2013 году учла не менее 100 000 точек данных для определения структуры ленты пользователя в социальных сетях. Кроме того, большие команды программистов могут работать в относительной изоляции друг от друга и не осознавать кумулятивного эффекта небольших решений в рамках связанных, сложных алгоритмов. : 118 Не весь код является оригинальным и может быть заимствован из других библиотек, создавая сложный набор взаимосвязей между системами обработки данных и системами ввода данных. : 22
Дополнительная сложность возникает из-за машинного обучения и персонализации алгоритмов на основе взаимодействия с пользователем, такого как клики, время, проведенное на сайте, и другие показатели. Эти персональные настройки могут запутать общие попытки понять алгоритмы. : 367 : 7 Один неопознанный сервис потокового радио сообщил, что использовал пять уникальных алгоритмов выбора музыки, которые он выбирал для своих пользователей на основе их поведения. Это создает разный опыт использования одних и тех же потоковых сервисов для разных пользователей, что затрудняет понимание того, что делают эти алгоритмы. : 5 Компании также часто проводят A/B-тестирование для тонкой настройки алгоритмов на основе реакции пользователей. Например, поисковая система Bing может запускать до десяти миллионов незначительных вариаций своего сервиса в день, создавая разный опыт использования сервиса между каждым использованием и/или пользователем. : 5
Коммерческие алгоритмы являются собственностью компании и могут рассматриваться как коммерческая тайна . : 2 : 7 : 183 Рассмотрение алгоритмов как коммерческой тайны защищает такие компании, как поисковые системы , где прозрачный алгоритм может раскрыть тактику манипулирования рейтингом поиска. : 366 Это затрудняет проведение исследований или анализ для выяснения того, как работают алгоритмы. : 20 Критики предполагают, что такая секретность может также скрывать возможные неэтичные методы, используемые при создании или обработке результатов алгоритмов. : 369 Другие критики, такие как юрист и активистка Катажина Шимелевич, предполагают, что отсутствие прозрачности часто маскируется сложностью алгоритмов, защищая компании от раскрытия или расследования собственных алгоритмических процессов.
Значительным препятствием для понимания борьбы с предвзятостью на практике является то, что категории, такие как демографические данные лиц, защищенных антидискриминационным законодательством , часто не учитываются явно при сборе и обработке данных. В некоторых случаях возможности для явного сбора этих данных ограничены, например, при идентификации устройств , повсеместных вычислениях и Интернете вещей . В других случаях контролер данных может не желать собирать такие данные по репутационным причинам или потому, что это представляет собой повышенную ответственность и риск для безопасности. Также может быть так, что, по крайней мере, в отношении Общего регламента защиты данных Европейского союза , такие данные подпадают под положения «специальной категории» (статья 9) и, следовательно, влекут за собой больше ограничений на потенциальный сбор и обработку.
Некоторые специалисты пытались оценить и восполнить эти недостающие конфиденциальные категории, чтобы уменьшить предвзятость, например, создавая системы для определения этнической принадлежности по именам , однако это может привести к другим формам предвзятости, если не подходить к этому с осторожностью . Исследователи машинного обучения использовали криптографические технологии повышения конфиденциальности, такие как безопасные многосторонние вычисления, чтобы предложить методы, с помощью которых алгоритмическую предвзятость можно оценить или уменьшить, не предоставляя эти данные разработчикам моделей в открытом виде .
Алгоритмическая предвзятость включает не только защищенные категории, но и может касаться характеристик, которые менее легко наблюдать или кодифицировать, таких как политические взгляды. В этих случаях редко существует легкодоступная или не вызывающая споров истина , и устранение предвзятости из такой системы становится сложнее. Кроме того, ложные и случайные корреляции могут возникать из-за недостаточного понимания защищенных категорий, например, страховые тарифы, основанные на исторических данных об автомобильных авариях, которые могут, строго по совпадению, совпадать с жилыми кластерами этнических меньшинств.
Среди основных подходов к преодолению алгоритмической предвзятости — аудит алгоритмов и тестирования на разных подгруппах данных, сбор и очистка тренировочных множеств для сбалансированности, использования прозрачных или открытых моделей с возможностью объяснения принятых решений, а также разработка этических и правовых стандартов применения ИИ.
Исследование 84 руководящих принципов политики в области этичного ИИ показало, что справедливость и «смягчение нежелательной предвзятости» являются общим пунктом, вызывающим озабоченность, и решаются посредством сочетания технических решений, прозрачности и мониторинга, права на возмещение ущерба и усиленного надзора, а также усилий по обеспечению разнообразия и инклюзивности.
Было предпринято несколько попыток создать методы и инструменты, способные обнаруживать и наблюдать смещения в алгоритме. Эти новые области сосредоточены на инструментах, которые обычно применяются к (обучающим) данным, используемым программой, а не к внутренним процессам алгоритма. Эти методы также могут анализировать выходные данные программы и их полезность, и поэтому могут включать анализ ее матрицы ошибок (или таблицы ошибок). Объяснимый ИИ для обнаружения смещения алгоритма — это предлагаемый способ обнаружения наличия смещения в алгоритме или модели обучения. Использование машинного обучения для обнаружения смещения называется «проведением аудита ИИ», где «аудитором» является алгоритм, который проходит через модель ИИ и обучающие данные для выявления смещений. Обеспечение того, чтобы инструмент ИИ, такой как классификатор, был свободен от предвзятости, сложнее, чем просто удаление конфиденциальной информации из входных сигналов, поскольку она обычно подразумевается в других сигналах. Например, хобби, спорт и школы, которые посещал кандидат на работу, могут раскрыть его пол программному обеспечению, даже если эта информация удалена из анализа. Решения этой проблемы включают в себя обеспечение того, чтобы интеллектуальный агент не обладал никакой информацией, которая могла бы быть использована для восстановления защищенной и конфиденциальной информации о субъекте, как впервые было продемонстрировано в , где сеть глубокого обучения одновременно обучалась для выполнения задачи, будучи при этом полностью независимой от защищенной характеристики. Более простой метод был предложен в контексте векторных представлений слов и включает в себя удаление информации, которая коррелирует с защищенной характеристикой.
В настоящее время [ когда? ] разрабатывается новый стандарт IEEE , целью которого является определение методологий, помогающих создателям алгоритмов устранять проблемы предвзятости и обеспечивать прозрачность (т.е. для властей или конечных пользователей ) в отношении функционирования и возможных последствий их алгоритмов. Проект был одобрен в феврале 2017 года и спонсируется Комитетом по стандартам программной и системной инженерии , комитетом, созданным Компьютерным обществом IEEE . Ожидается, что проект стандарта будет представлен на голосование в июне 2019 года . Стандарт был опубликован в январе 2025 года .
В 2022 году IEEE выпустила стандарт, направленный на определение методологий, которые помогут создателям алгоритмов решать проблемы предвзятости и способствовать прозрачности в отношении функционирования и потенциальных последствий их алгоритмов. Проект, первоначально одобренный в феврале 2017 года, был спонсирован Комитетом по стандартам разработки программного обеспечения и систем , комитетом при Компьютерном обществе IEEE . Стандарт предоставляет рекомендации по обеспечению прозрачности для властей или конечных пользователей и смягчению алгоритмической предвзятости.
Этические руководства по ИИ указывают на необходимость подотчетности, рекомендуя предпринять шаги для улучшения интерпретируемости результатов. Такие решения включают рассмотрение «права на понимание» в алгоритмах машинного обучения и противодействие внедрению машинного обучения в ситуациях, когда решения не могут быть объяснены или проверены. С этой целью в таких организациях, как DARPA , уже ведется движение за « объяснимый ИИ » по причинам, выходящим за рамки устранения предвзятости. Например, Price Waterhouse Coopers также предполагает, что мониторинг результатов означает проектирование систем таким образом, чтобы гарантировать, что отдельные компоненты системы могут быть изолированы и отключены, если они искажают результаты.
Первоначальный подход к прозрачности включал в себя открытый исходный код алгоритмов . Программный код можно изучать и предлагать улучшения с помощью средств размещения исходного кода . Однако этот подход не обязательно дает желаемый результат. Компании и организации могут делиться всей возможной документацией и кодом, но это не обеспечивает прозрачность, если аудитория не понимает предоставленную информацию. Поэтому роль заинтересованной критической аудитории заслуживает изучения в контексте прозрачности. Алгоритмы не могут быть привлечены к ответственности без критической аудитории.
Для повышения прозрачности и поддержки оценки предвзятости в алгоритмических системах было предложено несколько подходов к документированию. Один из широко цитируемых методов — использование карточек моделей , которые предоставляют стандартизированные сводки предполагаемого использования системы ИИ, показателей производительности, наборов данных для оценки и известных ограничений. Связанные с этим усилия включают в себя таблицы данных для наборов данных , которые описывают происхождение, состав, методы сбора и рекомендуемое использование обучающих данных. Эти структуры документации призваны прояснить предположения и потенциальные предубеждения, заложенные в обучающих данных и системах машинного обучения, помогая специалистам, аудиторам и заинтересованным группам лучше интерпретировать поведение системы.
Помимо практики документирования, исследователи и политики поощряют использование структурированных механизмов управления, таких как оценка воздействия алгоритмов , процедуры оценки на основе рисков и мониторинг после развертывания . Эти процессы направлены на выявление потенциально неравномерного воздействия до развертывания и обеспечение того, чтобы системы ИИ продолжали оцениваться на предмет справедливости во время реальной эксплуатации. Инициативы государственного сектора, такие как директива Канады об автоматизированном принятии решений, требуют проведения оценки воздействия, мер по объяснимости и регулярных аудитов для определенных автоматизированных систем высокого риска. Вместе эти подходы к управлению дополняют технические стратегии смягчения последствий, обеспечивая подотчетность и прозрачность на протяжении всего жизненного цикла разработки и развертывания ИИ.
С точки зрения регулирования, Торонтская декларация призывает к применению правозащитной концепции к вреду, причиненному алгоритмической предвзятостью. Это включает в себя законодательное регулирование ожиданий должной осмотрительности со стороны разработчиков этих алгоритмов и установление ответственности в случаях, когда частные лица не защищают общественные интересы, отмечая, что такие права могут быть скрыты сложностью определения ответственности в сети сложных, взаимосвязанных процессов. Другие предлагают необходимость четких механизмов страхования ответственности.
На фоне опасений, что разработка систем ИИ в основном является прерогативой белых инженеров-мужчин , ряд ученых предположили, что алгоритмическую предвзятость можно минимизировать, расширив инклюзивность в рядах тех, кто разрабатывает системы ИИ. Например, только 12% инженеров по машинному обучению — женщины , а чернокожие лидеры в области ИИ указывают на «кризис разнообразия» в этой сфере. Такие группы, как Black in AI и Queer in AI, пытаются создать более инклюзивные пространства в сообществе ИИ и противодействуют зачастую вредным желаниям корпораций, контролирующих траекторию исследований в области ИИ. Критика простых усилий по обеспечению инклюзивности предполагает, что программы по обеспечению разнообразия не могут решить пересекающиеся формы неравенства, и призывает к применению более целенаправленного подхода, учитывающего интерсекциональность , к разработке алгоритмов. : 4 Исследователи из Кембриджского университета утверждают, что решение проблемы расового разнообразия затруднено «белостью» культуры ИИ.
Интеграция междисциплинарности и сотрудничества в разработке систем ИИ может сыграть решающую роль в борьбе с алгоритмической предвзятостью. Интеграция знаний, опыта и перспектив из дисциплин, не относящихся к информатике, может способствовать лучшему пониманию влияния решений, основанных на данных, на общество. Примером этого в исследованиях ИИ является PACT, или подход, основанный на участии, для расширения возможностей в сообществах, предлагаемая структура для содействия сотрудничеству при разработке решений на основе ИИ, ориентированных на социальное воздействие. Эта структура определяет руководящие принципы участия заинтересованных сторон при работе над проектами ИИ во благо общества (AI4SG). PACT пытается подчеркнуть важность усилий по деколонизации и перераспределению власти при разработке человекоцентрированных решений ИИ. Академической инициативой в этом отношении является Институт человекоцентрированного искусственного интеллекта Стэнфордского университета, который стремится содействовать междисциплинарному сотрудничеству. Миссия института — продвижение исследований, образования, политики и практики в области искусственного интеллекта (ИИ) для улучшения условий жизни человека.
Сотрудничество с внешними экспертами и различными заинтересованными сторонами способствует этичному, инклюзивному и ответственному развитию интеллектуальных систем. Оно включает этические соображения, учитывает социальный и культурный контекст, способствует проектированию, ориентированному на человека, использует техническую экспертизу и рассматривает политические и правовые аспекты. Сотрудничество между различными дисциплинами имеет важное значение для эффективного снижения предвзятости в системах ИИ и обеспечения того, чтобы технологии ИИ были справедливыми, прозрачными и подотчетными.
Общий регламент по защите данных (GDPR), пересмотренный режим защиты данных Европейского союза , введенный в действие в 2018 году, в статье 22 регулирует «автоматизированное принятие решений отдельными лицами, включая профилирование ». Эти правила запрещают «исключительно» автоматизированные решения, имеющие «значительное» или «юридическое» воздействие на человека, если они не разрешены явным образом согласием, договором или законодательством государства-члена . Там, где они разрешены, должны быть предусмотрены гарантии, такие как право на участие человека в процессе принятия решения и необязательное право на разъяснение принятых решений. Хотя эти правила обычно считаются новыми, почти идентичные положения существуют в Европе с 1995 года, в статье 15 Директивы о защите данных . Первоначальные правила и гарантии автоматизированного принятия решений содержатся во французском законодательстве с конца 1970-х годов.
GDPR рассматривает алгоритмическую предвзятость в системах профилирования, а также статистические подходы, которые можно использовать для ее устранения, непосредственно в пункте 71 преамбулы , отмечая, что
Контролер должен использовать соответствующие математические или статистические процедуры для профилирования, внедрять соответствующие технические и организационные меры... которые предотвращают, в частности, дискриминационные последствия для физических лиц на основе расового или этнического происхождения, политических взглядов, религии или убеждений, членства в профсоюзах, генетического или состояния здоровья или сексуальной ориентации, или которые приводят к принятию мер, оказывающих такое воздействие.
Как и необязательное право на объяснение в пункте 71 преамбулы, проблема заключается в необязательном характере преамбулы . Хотя это рассматривалось как требование Рабочей группой по статье 29 , которая консультировала по вопросам реализации законодательства о защите данных, его практические аспекты неясны. Утверждалось, что оценки воздействия на защиту данных в отношении профилирования данных высокого риска (наряду с другими превентивными мерами в рамках защиты данных) могут быть лучшим способом решения проблем алгоритмической дискриминации, поскольку они ограничивают действия тех, кто использует алгоритмы, вместо того, чтобы требовать от потребителей подачи жалоб или запроса изменений.
В Соединенных Штатах отсутствует общее законодательство, регулирующее алгоритмическую предвзятость, и проблема решается посредством различных законов штатов и федеральных законов, которые могут различаться в зависимости от отрасли, сектора и способа использования алгоритма. Многие политики реализуются самостоятельно или контролируются Федеральной торговой комиссией . В 2016 году администрация Обамы опубликовала Национальный стратегический план исследований и разработок в области искусственного интеллекта , который был призван помочь политикам в критической оценке алгоритмов. В нем рекомендовалось исследователям «разрабатывать эти системы таким образом, чтобы их действия и принятие решений были прозрачными и легко интерпретируемыми для людей, и, следовательно, могли быть проверены на наличие какой-либо предвзятости, а не просто усваиваться и повторять эти предубеждения». Предназначенный только в качестве руководства, отчет не создал никакого юридического прецедента. : 26
В 2017 году Нью-Йорк принял первый в США закон об ответственности за алгоритмы . Закон, вступивший в силу 1 января 2018 года, требовал «создания целевой группы, которая будет предоставлять рекомендации о том, как информация об автоматизированных системах принятия решений ведомств может быть предоставлена общественности, и как ведомства могут реагировать на случаи, когда люди страдают от автоматизированных систем принятия решений ведомств». В 2023 году Нью-Йорк принял закон, требующий от работодателей, использующих автоматизированные инструменты найма, проводить независимые «аудиты предвзятости» и публиковать результаты. Этот закон стал одной из первых законодательно закрепленных мер по обеспечению прозрачности в отношении систем ИИ, используемых при принятии решений о приеме на работу в Соединенных Штатах. Целевая группа обязана представить результаты и рекомендации для дальнейших нормативных действий в 2019 году. 11 февраля 2019 года, согласно Исполнительному указу 13859 , федеральное правительство представило «Американскую инициативу в области ИИ», комплексную стратегию по поддержанию лидерства США в области искусственного интеллекта. Эта инициатива подчеркивает важность постоянных исследований и разработок в области ИИ, этических стандартов, подготовки кадров и защиты критически важных технологий ИИ. Это соответствует более широким усилиям по обеспечению прозрачности, подотчетности и инноваций в системах ИИ в государственном и частном секторах. Кроме того, 30 октября 2023 года президент подписал Исполнительный указ 14110 , который подчеркивает безопасное, надежное и заслуживающее доверия развитие и использование искусственного интеллекта (ИИ). Указ описывает скоординированный, общеправительственный подход к использованию потенциала ИИ при одновременном снижении его рисков, включая мошенничество, дискриминацию и угрозы национальной безопасности. Важным моментом в этом обязательстве является содействие ответственным инновациям и сотрудничеству между секторами для обеспечения того, чтобы ИИ приносил пользу обществу в целом. Этим указом президент Джо Байден обязал федеральное правительство разработать передовые методы для компаний, чтобы оптимизировать преимущества ИИ и минимизировать его вред.
31 июля 2018 года был представлен проект Закона о персональных данных. Проект предлагает стандарты для хранения, обработки и передачи данных. Хотя в нем не используется термин «алгоритм», он предусматривает положения о «вреде, возникающем в результате любой обработки или любого вида обработки, осуществляемой доверенным лицом». Он определяет «любой отказ или лишение услуги, выгоды или товара в результате оценочного решения в отношении субъекта данных» или «любое дискриминационное обращение» как источник вреда, который может возникнуть в результате ненадлежащего использования данных. Он также содержит специальные положения для людей с «интерсексуальным статусом».
Исследование, описанное в статье про алгоритмическая предвзятость, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое алгоритмическая предвзятость и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Модели нейросетей и методы исследований систем искусственного интеллекта
Часть 1 Алгоритмическая предвзятость
Часть 2 Влияние - Алгоритмическая предвзятость
Часть 3 Методы противодействия - Алгоритмическая предвзятость
Комментарии