В последние годы внимание к алгоритмам, управляющим бизнес-процессами, возросло не только из-за их инновационных возможностей, но и из-за проблем с предвзятостью. Организации рассчитывают на беспристрастность искусственного интеллекта, однако на практике системы часто воспроизводят и масштабируют ошибки, заложенные в исходные данные или допущенные разработчиками. Ответственность в этом случае лежит на компаниях.
Источники предвзятости
Как отмечает Андрей Комиссаров, директор по ИИ в «Синергии», алгоритмы обучаются на фиксированных датасетах или на основе реальных данных. Если исходные данные содержат перекосы — например, собранные из социальных сетей — это не может не сказаться на поведении системы. Когда алгоритм столкнется с проблемными данными, он может начать дискриминировать.
Причины предвзятости могут быть различными:
- Проблемные датасеты: Если исходные данные содержат дискриминационные примеры, это негативно сказывается на обучении алгоритма.
- Неожиданное дообучение: Продолжение обучения на данных с явной предвзятостью может только усугубить проблему.
- Шаблонные ошибки: Алгоритм может работать по ошибочному шаблону, что тоже приводит к дискриминации.
Примеры и последствия
Генеральный директор Dbrain Алексей Хахунов подчеркивает, что предвзятость — это результат плохих данных, а не неудачный алгоритм. Ощутить на себе последствия дискриминации можно лишь в том случае, если она затрагивает конкретного пользователя. При этом искажения в алгоритмах вызывают общественный резонанс, а их последствия могут быть юридически более дорогостоящими, чем действия человека.
Игорь Бедеров, директор T.Hunter, обратил внимание на примеры, когда системы, даже без предвзятых намерений, воспроизводят системные ошибки. Например, Amazon в 2018 году отказался от использования ИИ в подборе персонала после того, как его алгоритм начал занижать рейтинг женщин-кандидатов.
Регулирование и будущее
Ситуации с предвзятостью ИИ становятся все более распространенными. На Западе известны десятки случаев, когда компании, как Meta, вынуждены были идти на мировые соглашения из-за расовой предвзятости алгоритмов. Современные компании проводят тесты справедливости, используют контрафактуальные проверки и привлекают внешних аудиторов для выявления скрытой дискриминации.
Тем не менее, российские компании часто сталкиваются с последствиями предвзятости, но редко принимают меры по ее предотвращению. Например, инцидент с Xsolla в 2021 году, когда компания уволила 150 сотрудников на основании алгоритмического отчета. Это привело к скандалу и потере репутации.
К сожалению, пока в России вопросы алгоритмической предвзятости не вызывают должного внимания, что чревато повторением подобных прецедентов в будущем.
