Искусственный интеллект проявил сексизм и этим поставил крест на приложении для найма от Amazon

Тестировавшийся компанией Amazon алгоритм искусственного интеллекта для поиска сотрудников оказался сексистским: от предрасположенной к найму сотрудников-мужчин программы в итоге пришлось отказаться, сообщает Рейтер.

В этом случае, похоже, аналитики наступили на грабли отбора данных для обучения приложения: они "скормили" искусственному интеллекту массив информации за десятилетний период, за который большинство присланных в корпорацию резюме приходили от мужчин.

Они не первые, кто невольно допустил ошибку сужения выборки информации для системы: например, после того как в 2016 году Microsoft запустила в "Твиттере" свой чатбот Tay, он сразу же стал популярен среди троллей, которые научили его поддерживать расистские идеи, призывать к геноциду и восхищаться Гитлером.

В Amazon не ответили на запрос Би-би-си.

Журналистам Рейтер удалось на условиях анонимности пообщаться с пятью членами команды разработчиков, которые участвовали в создании самообучающегося алгоритма с 2014 года.

По их словам, изначальная задумка предполагала, что система сама оценит резюме и мотивационные письма соискателей работы, а затем присвоит им рейтинг от одной до пяти звёздочек.

"Руководство буквально хотело, чтобы вы давали алгоритму 100 резюме, из которых он бы составил топ-5, и компания впоследствии могла бы нанять этих людей", - заявил Рейтер один из программистов.

"Отбраковка женщин"

К 2015 году, однако, уже стало понятно, что созданная система не придерживается принципа гендерной нейтральности, поскольку большинство резюме за предыдущие годы в Amazon присылали мужчины.

Таким образом, алгоритм начал отбраковывать заявки со словом "женщины". Программу отредактировали так, чтобы искусственный интеллект не маркировал это слово и его производные как нечто негативное, но это не очень помогло.

Amazon признал программу ненадёжной, и проект закрыли, однако, по информации Рейтер, ещё какое-то время отдел кадров принимал во внимание рекомендации алгоритма, хотя и не основывал на них своё окончательное решение.

Реакция пользовательниц в соцсетях на новость была обескураженно-негодующей.

"Невообразимо", - пишет британская техническая журналистка Холли Брокуэлл.

"За каждым устройством ИИ стоят предубеждения тех, кто его создавал", - уверена научная эссеистка Рейчел Фэрбэнк.

"Интересно, как все эти рекрутинговые компании, использующие ИИ, убеждают своих клиентов, что используемые ими системы объективны", - задаётся вопросом бизнес-репортёрша Ребекка Гринфилд.

По данным Amazon, в настоящий момент 60% сотрудников корпорации по миру - мужчины.

При этом недавнее социологическое иследование рекутингового сайта CareerBuilder выявило, что 55% опрошенных кадровиков уверены в резком росте роли ИИ при найме сотрудников уже в ближайшие пять лет.

"Запрограммирован на провал"

Изначальная необъективность подобных механизмов уже не раз обсуждалась в профессиональном сообществе.

В июне команда исследователей Массачусетского технологического института (MIT) сообщила о создании психопатического алгоритма "Норман".

Его обучили распознавать и интерпретировать фотографии и прочие изображения с точки зрения человека.

Они пытались понять, как повлияют на восприятие мира искусственным интеллектом фотографии и изображения из темных уголков интернета.

В мае 2017 года выяснилось, что ИИ, который тестировался в судах США, негативно расположен к темнокожим обвиняемым, считая их вдвое более способными на криминальный рецидив, чем белых.

Как выяснили программисты, проблема была в том, что алгоритм обучался по статистике полицейских задержаний и уличных выборочных проверок, а большинство задержанных и проверяемых в США - темнокожие.