Vědci ze dvou prestižních britských univerzit zjistili, že velké jazykové modely mají skryté rasistické chování. To se projevuje kritičtějším přístupem k osobám hovořícím afroamerickým jazykem. Jako nejvíce záludné z experimentů vyšly jazykové modely od společnosti OpenAI.

Umělé inteligence pronikají do našich životů a profesí stále hlouběji, což platí i pro právo či nábor zaměstnanců. „Víme, že už firmy tyto technologie běžně používají k prověřování uchazečů o práci,“ zmínil jeden z autorů práce Valentin Hofman.

Je však otázkou, do jaké míry jsou systémy AI spravedlivé. Nová studie technologických a lingvistických výzkumníků z Oxfordské a Stanfordské univerzity odhalila u těchto jazykových modelů znepokojivé chování – skryté sklony k rasismu.

Umělá inteligence má předsudky vůči etnickým menšinám. Zdroj: Pixabay

Nejprve vědci zadali AI najít vhodné uchazeče o určité zaměstnání. Jazykové modely neměly informace o rase uchazečů, žádosti však byly psány v klasické americké a afroamerické angličtině používané hlavně příslušníky americké černošské menšiny.

V dalším experimentu se vědci modelů ptali, zda by odsoudily, nebo osvobodily osoby obviněné z různých trestných činů a následně měly rozhodnout, zda by odsoudily člověka obviněného z vraždy prvního stupně na doživotí, nebo k trestu smrti.

Skrytý rasismus

Umělé inteligence mají předsudky vůči Afroameričanům, píše web New Scientist. Jedince hovořící afroamerickou angličtinou častěji přiřazovaly k zaměstnáním nevyžadujícím vysokoškolské vzdělání (kuchaři, ostraha, vojáci).

Téměř všechny jazykové modely častěji odsoudily než osvobodily osoby hovořící afroamerickou angličtinou oproti těm vybaveným klasickou americkou angličtinou. Druhá část tohoto výzkumu však probudila ještě větší znepokojení.

Umělá inteligence nemusí být kvůli skrytému rasistickému chování v soudnictví férová. Zdroj: Pixabay

AI jako soudce zatím neobstála

Modely umělých inteligencí (LLM) častěji odsuzovaly k trestu smrti osoby hovořící afroamerickou angličtinou oproti lidem mluvícím klasickou americkou angličtinou. Vědce také zarazil fakt, že jazykové modely tohle chování skrývají.

Afroamerické jedince spojovaly s mnoha pozitivními vlastnostmi, ale zároveň i s mnoha negativními. Vědci proto tohle chování označili za „skrytý rasismus“. Nejlepšími mistry klamu mezi dvanácti verzemi velkých jazykových modelů byly ty od OpenAI v čele s GPT-4, což lze mj. přisoudit jejich komplexnosti.

Prior work has focused on racial bias displayed by LLMs when they are prompted with overt mentions of race.

By contrast, racism in the form of dialect prejudice is completely covert since the race of speakers is never explicitly revealed to the models.

— Valentin Hofmann (@vjhofmann) March 4, 2024

Zdroje: New Scientist, Arxiv.org