New York koalíciót hoz létre az orvosi algoritmusok elfogultságának és "faji normálásának" megszüntetésére
Ezek az algoritmusok bizonyítottan negatívan befolyásolják a New York-i fekete és latin lakosok ellátását.
New York City nemrégiben bejelentette, hogy véget vet a város kórházai által használt klinikai algoritmusok faji kiigazításának. Szakértők szerint ezek a kiigazítások állandósítják a rasszista feltételezéseket az egészségügyben, és a kisebbségi lakosság nem megfelelő ellátásához vezethetnek.
Az egészségügyi intézmények klinikai algoritmusokat használnak annak eldöntésére, hogy az orvosi ellátást hogyan osztják ki a betegeknek, és sok kórház a "faji normálásnak" nevezett eljárást alkalmazza - más néven faji kiigazítást. Bizonyítottan negatívan befolyásolja a város fekete és latin lakosainak ellátását.
A bejelentés példákat tartalmaz a város lakóit érintő valós helyzetekre, beleértve a fekete betegek "kiigazítási" tényezőjét a veseműködésre hivatkozva. A korrekciós tényező kiszámítja a fekete vesefunkció szintjét, hogy egészségesebb, mint a fehér betegek ugyanazon mért eredmény mellett; ez késedelmet okozott a fekete betegek ellátásában.
Az anyai ellátásban a faji normák oda vezettek, hogy a fekete és latin emberek nagyobb valószínűséggel végeznek szükségtelen császármetszést - annak ellenére, hogy "ugyanolyan korúak, egészségi állapotúak és múltbeli szülési előzményeik, mint a fehér nőknek". Ezek az algoritmusok általánosságban "kedvezőtlenebb eredményekhez" vezettek a szülő fekete és latin emberek számára, súlyosbítja a meglévő anyai és egészségügyi egyenlőtlenségeket.
E problémák megoldása érdekében a New York-i Egészségügyi Minisztérium koalíciót hozott létre, hogy véget vessen a faji kiigazítás klinikai algoritmusokba való beépítésének.
"A Koalíció a Rasszizmus Megszüntetésére a Klinikai Algoritmusokban (CERCA) segít egy egészségesebb és igazságosabb városhoz vezetni" - mondta Dr. Dave Chokshi egészségügyi biztos.
Dr. Michelle Morse biztoshelyettes és főorvos hozzátette: "A klinikai algoritmusokban a faji kiigazítás problémás koncepciójára és gyakorlatára való figyelemfelhívás méltányosabb egészségügyi eredményeket és tapasztalatokat teremthet azok számára, akik feketének, őslakosnak és színes bőrűnek (BIPOC) azonosítják magukat."
A NYC Health + Hospitals elnök-vezérigazgatója, Mitchell Katz elmondta, hogy a város közegészségügyi rendszere várakozással tekint az egészségügyi osztállyal és más egészségügyi rendszerekkel való együttműködésre.
"Ennek a koalíciónak megvan a hatalma arra, hogy tovább gyorsítsa rendszerünk meglévő "Orvosi rasszizmus" kezdeményezésének munkáját és hatását, amelynek célja a faji alapú algoritmusok status quo-jának megkérdőjelezése is... amelyek évtizedek óta széles körben elfogadottak a szakterületünkön" - mondta Katz.
A CERCA-ban részt vevő intézmények a következők: NYC Health + Hospitals, Maimonides Medical Center, MountSinai Health System, New-York Presbyterian, Northwell Health, NYU Langone Hospitals, One Brooklyn Health, SBH Health System, SUNY Downstate, Wyckoff Heights Medical Center és Cortelyou Medical Associates.
Mindegyikük azt mondta, hogy "legalább egy klinikai algoritmusban véget vet a faji kiigazításnak, és terveket készítenek a faji egyenlőtlenségek és a betegek elkötelezettségének értékelésére". Azt is tervezik, hogy két éven keresztül kéthavonta találkoznak, és éves jelentést készítenek, amelyek közül az első 2022 júniusában érkezik.
A fekete orvosi szakértők régóta kiemelték a rasszizmust a kórházak által a kezelésre alkalmazott algoritmusokban használt faji kiigazítások mögött. Dr. Dorothy Roberts, a Pennsylvaniai Egyetem afrikai tanulmányok, jog és szociológia professzora szerint az orvostudományban a faji kiigazítások "nemcsak az emberi biológiával kapcsolatos hamis, rasszista hiedelmeken alapulnak, hanem kimutatták, hogy ártanak a fekete betegeknek is".
Caitlin Seeley George, a Fight for the Future technológiai érdekképviseleti csoport kampányigazgatója szerint a faji kiigazítás nemcsak "rendkívül siralmas, rasszista meggyőződéseken alapuló orvosi gyakorlat", hanem kiváló példa arra is, hogy a mesterséges intelligencia hogyan erősíti fel ezeket a rasszista hiedelmeket.
"A fajon alapuló biológiai különbségek fogalma jóval a mesterséges intelligencia előtt létezett, de ezt a technológiát fegyverként használták fel ezeknek a rasszista gyakorlatoknak a súlyosbítására. Nagyon sok algoritmus van érvényben, amelyek többnyire fekete dobozban dolgoznak, és alig vagy egyáltalán nem átláthatóak a döntéseik meghozatalában. Annak érdekében, hogy leromboljuk a rasszista struktúrákat társadalmunkban, meg kell nyitnunk ezeket az algoritmusokat, hogy megtaláljuk, milyen más rasszista meggyőződések képezik a számításaik részét" - mondta Seeley George.
"Minden egészségügyi rendszerünkre szükségünk van ehhez a munkához, olyan jogszabályokra van szükségünk, amelyek megakadályozzák a káros algoritmusok elfogadását, és New Yorkban ennek túl kell lépnie egy klinikai algoritmuson (ami a jelenlegi hatókörük). És ezeknek az erőfeszítéseknek ki kell terjedniük azokra a valódi emberekre is, akiket ezek az algoritmusok károsítottak, valamint emberi jogi szervezetekre és szakértőkre, akik kritikus betekintést nyújthatnak ezeknek az algoritmusoknak a valódi emberekre gyakorolt káros hatásaiba."
Dr. Danya Glabau, a NYU Tandon School of Engineering adjunktusa és az egyetem Technológiai, Kulturális és Társadalmi Tudományos és Technológiai Tanulmányok Tanszékének igazgatója elmondta, hogy az orvostudomány kontextusában az "algoritmusok" sokkal hosszabb múltra tekintenek vissza, mint a tanács által megreformálni kívánt számítógépes rendszerek.
Glabau szerint az orvosi algoritmusok lényegében bármilyen döntési fa, amelyet az orvosok használnak a kezelési döntések meghozatalához, és a nem számítógépes orvosi algoritmusok használata évtizedek óta a bizonyítékokon alapuló orvoslás sarokköve.
Az automatizált algoritmusok azonban kisebb-nagyobb mértékben kiveszik az orvos ítélőképességét a kezelési döntésekből, mert egy számítógép hozza meg a döntéseket. Amikor a digitális algoritmusokat bevezették, azt gondolták, hogy az emberek eltávolítása megszünteti az emberi rasszizmust - magyarázta Glabau.
"Mivel azonban az automatizált algoritmusok döntései a múltbeli emberi döntések adatain alapulnak, az emberi elfogultságok, például a rasszizmus és az osztályizmus továbbra is szerepet játszanak ezekben az eszközökben. Tehát nem igazán oldják meg a rasszizmus problémáját önmagukban, mert az orvostudomány története rasszista" - mondta Glabau.
"Nehéz pontosan megmondani, hogy a digitális algoritmusok mennyire elterjedtek, és közülük hányan foglalkoznak különösen a faji hovatartozással. De valószínű, hogy a legtöbb szolgáltató naponta többet használ, és lehet, hogy nem tud róla."
Az olyan kutatók, mint Amy Moran-Thomas, kimutatták, hogy még az olyan egyszerű eszközök, mint a pulzoximéterek, is rasszista következményekkel járhatnak.
"Ebben az esetben a tervezők egyszerűen nem vették figyelembe, hogy a bőrszín hogyan befolyásolja az optikai érzékelő által megadott értékeket. Azt is tudjuk, hogy az olyan eszközök, mint az ütemezési szoftverek, rasszista következményekkel járhatnak, még akkor is, ha úgy tűnik, hogy az ütemezésnek semmi köze a fajhoz. De különösen a fekete betegek voltak kétszer vagy háromszor foglalva, mert sokuknak nehézségei voltak időben a találkozókra az ellenőrzésükön kívül eső tényezők miatt" - mondta Glabau.
"Ezek a példák megmutatják, milyen bonyolult lehet előre látni, hogy az algoritmikus és más digitális rendszerek hogyan lesznek rasszista következményekkel. Egy olyan városban, mint New York, ahol a COVID súlyosan érintette a BIPOC közösségeket, és ahol az irányítószám korrelál a jövedelemmel és a faji szegregációval, az ilyen látszólag hétköznapi technológiák jelentős következményekkel járhatnak az egészségre."
De a tanács sikerének egyetlen módja az, ha teljes hozzáférést kap a kórházi rendszer működéséhez, a szoftverekhez és az algoritmusokat előállító vállalatok műszaki dokumentációjához - tette hozzá Glabau. A tanácsnak felhatalmazást kell adni arra is, hogy kötelező érvényű irányelveket alkosson, amelyek az egész városban végrehajthatók.
"Ha ez a tanács nem kap fogat, megdöbbentő információkat találhat, vagy jó szándékú ajánlásokat tehet, de semmit sem változtat a betegek számára, és nem teljesíti rasszizmusellenes megbízatását" - magyarázta Glabau.
Glabau sokat írt arról, hogy a hétköznapi technológiák milyen jelentős hatással lehetnek az egészségügyi eredményekre.