Много разговоров ходит о регулировании ИИ, об этичности и безопасности. Это реальная проблема, хоть и раздутая до гротескных масштабов. Однако есть области, где недостаточно иметь модель с хорошими предсказаниями, нужно еще сводить к минимуму ложно положительные результаты.
В центре этого выпуска — две истории, обе из Нидерландов. Из-за первой истории ушел в отставку целый кабинет министров, это скандал, который не стих и поныне. Он был связан с тем, что ML-алгоритмы, ищущие мошенничество в выдачах пособий оказались настолько предвзятыми, что сломали жизнь куче людей. Вторая история — это история схожей системы, находящейся в состоянии пилота, и никак не могущей избавиться от предвзятости.
Этот рассказ не призван напугать. Он призван заставить подумать, что техническое совершенство — не всегда то, что нужно людям. Иногда люди важнее.
Источники:
- https://en.wikipedia.org/wiki/Dutch_childcare_benefits_scandal
- https://www.uva.nl/en/shared-content/faculteiten/en/faculteit-der-rechtsgeleerdheid/news/2025/01/post-office-scandal-and-the-childcare-benefit-scandal.html
- https://nltimes.nl/2025/03/27/dutch-child-benefits-scandal-led-thousands-forced-family-separations-report-finds
- https://www.amnesty.nl/content/uploads/2021/10/20211014_FINAL_Xenophobic-Machines.pdf
- https://openresearch.amsterdam/en/page/109792/slimme-check-working-with-a-citizen-panel-for-innovation-in-the
- https://www.technologyreview.com/2025/06/11/1118233/amsterdam-fair-welfare-ai-discriminatory-algorithms-failure/
- https://algoritmes.overheid.nl/en
- https://openresearch.amsterdam/nl/page/105057/eindevaluatie-pilot-slimme-check---bias-analyse-eindrapport
- https://github.com/Lighthouse-Reports/amsterdam_fairness/tree/main
Текст: https://t.me/mourning_espresso/20
YouTube: https://youtu.be/THmyjoa0RvQ