Алгоритм для призначення необхідного лікування запідозрили в расизмі

Один з алгоритмів, які використовуються в американських лікарнях для визначення сценаріїв лікування пацієнтів, виявився упереджений щодо раси: темношкірим і білим пацієнтам він призначає однаковий рівень ризику розвитку певних станів навіть при тому, що темношкірі пацієнти в середньому значно менш здорові. Причиною тому виявилося те, що для визначення здоров'я пацієнтів алгоритм використовує витрати на медичні послуги. Стаття з описом роботи опублікована в.

Один з очевидних плюсів використання автоматичних систем для аналізу інформації - відсутність людського фактора, який дуже часто впливає на результат. Яскравий приклад - помилка «задоволення пошуку», що часто зустрічається в медичній діагностиці: виявивши, наприклад, на рентгенівському знімку один перелом, фахівець може не помітити другий. Алгоритмам комп'ютерного зору така помилка не загрожує.

Інший приклад - аналіз різних анкет людей: наприклад, при прийомі на роботу або для надання необхідної медичної допомоги. По суті, алгоритми, які спеціалізуються на такому аналізі, повинні бути неупереджені і працювати без дискримінації за будь-якою ознакою. На ділі ж робота таких алгоритмів все одно ґрунтується на даних, зібраних людьми, і упередженості їй не уникнути: варто, наприклад, згадати історію з алгоритмом аналізу анкет при прийомі на роботу від Amazon, який звинуватили в сексизмі.

При цьому упередженість може виникати навіть у тих випадках, якщо алгоритм безпосередньо не звертається до таких параметрів, як стать або раса. Це в новій роботі показали вчені під керівництвом Зіада Обермейєра (Ziad Obermeyer) з Каліфорнійського університету в Берклі. Вони проаналізували дані про понад 50 тисячі пацієнтів, які використовуються в одній з медичних комп'ютерних програм, яка автоматично призначає можливі шляхи лікування хронічних захворювань.

Автори роботи з'ясували, що, згідно з роботою алгоритму, у темношкірих людей хронічних захворювань на 26,3 відсотка більше, ніж у білих: іншими словами, їх здоров'я у вибірці значно гірше. Якщо говорити про конкретні захворювання і станах, то серед темношкірих вище кров'яний тиск і рівень холестерину, а також гірший стан при діабеті. Цікаво, що такий зв'язок спостерігається при будь-яких відносинах ризиків: іншими словами, з однаковим ризиком розвитку будь-яких станів, захворювань і смерті у темношкірих пацієнтів здоров'я значно гірше. Це, в свою чергу, призводить до того, що білі пацієнти при відносному здоров'ї в порівнянні з темношкірими отримують більше спеціальної медичної допомоги.

Цікаво, що раса в роботі алгоритму не враховується зовсім - при цьому упередженість все одно виникає. Проаналізувавши роботу алгоритму, вчені з'ясували, що, розраховуючи ризики захворювань і необхідність лікування, система в першу чергу враховує витрати на лікування. З одного боку, це розумно: важкі стани потребують більш дорогого лікування. З іншого боку, менші витрати на медичні витрати відображають соціоекономічний статус і рівень життя пацієнтів, які у темношкірих можуть бути нижчими.

У самій роботі не повідомляється, про який саме алгоритм йдеться. Тим не менш, The Washington Post стверджує, що мова йде про одну з програм медичної компанії Optum: на це ж вказується і в редакційній замітці журналу. У статті автори зазначають, що не мали жодних контактів з представниками компанії аж до публікації роботи, але уточнюють, що їм вдалося попрацювати з розробниками і знизити расову упередженість у його роботі на 84 відсотки.

Упередженість роботи алгоритмів через упередженість самої вибірки іноді на руку: наприклад, минулого року вченим вдалося на великому корпусі текстів відстежити, як змінювалося ставлення до жінок і азіатів.