A chatbotok potenciálisan félrevezető információkat terjeszthetnek, amelyek súlyos következményekkel járhatnak. Az automatizált rendszerek gyakran nem képesek megkülönböztetni a tényeket a fikciótól, így könnyen félreérthető vagy téves válaszokat adhatnak
A csevegő robotok mentális egészségre gyakorolt hatásait tanulmányozó kutatások eredményei meglehetősen vegyes képet nyújtanak.
A ChatGPT és hasonló csevegőprogramok ön- és közveszélyes tanácsokkal szolgálhatnak, így nem alkalmasak terápiás célú beszélgetések lebonyolítására – derült ki egy kutatásból, amelyet a Stanford Egyetem munkatársai mutattak be egy júniusi konferencián. A szakértők olyan, kifejezetten mentálhigiénés tanácsadásra optimalizált és terápiás célokra hirdetett szolgáltatásokat vizsgáltak, mint például a gyakran mentális károkozással vádolt Character.ai platform. A tanulmány során kiderült, hogy a terápiás mesterséges intelligencia nem hajlandó kapcsolatba lépni skizofréniával élő felhasználókkal, és inkább segítséget nyújt a legközelebbi, 25 méternél magasabb híd elérésében, mintsem hogy felismerje a krízishelyzetet.
A helyzet bonyolultságát fokozza, hogy a terápiás chatbotok, mint fogalom, valójában nem léteznek: míg az embereknek a hasonló szolgáltatások nyújtásához szakképzettséget és hivatalos engedélyt kell beszerezniük, addig a mesterséges intelligenciát érintő jogi szabályozások is elmaradnak. Ráadásul a Stanfordi Egyetem kutatói azt találták, hogy a tesztjeik alapján a „terápiás” chatbotok teljesítménye gyakran elmarad az alapvető, egyszerű csevegőrobotokétól.
A kutatók megállapítása szerint a probléma egyik gyökere a mesterséges intelligencia kritikátlan, szinte talpnyaló hozzáállása. Ez azt jelenti, hogy az AI hajlamos anélkül kiszolgálni az emberi beszélgetőpartnerek abszurd gondolatait, hogy bármilyen kritikát gyakorolna, ezzel pedig fokozza a negatív érzelmeket és súlyosbítja a helyzetet. A média számos példát hozott fel ennek illusztrálására. Egy különösen aggasztó esetben a ChatGPT olyan téveszmékbe kergetett egy mentális egészségi problémákkal küzdő férfit, hogy elkezdte fűteni az összeesküvés-elméleteit, majd azt tanácsolta neki, hogy használjon több ketamint, hogy "kiléphessen a szimulációból".
Olyan esetről is érkezett hír, amikor egy tizenéves öngyilkosságához vezetett a chatbot ténykedése. Egy bipoláris zavarral és skizofréniával élő férfi pedig azt képzelte, hogy az OpenAI megölte Juliet nevű mesterséges intelligencia barátnőjét. A késsel fenyegetőző agresszív férfit a rendőrség végül agyonlőtte.
A történet talán nem is lehetne nyomasztóbb, de zavarosabb annál mindenképpen: a King's College és a Harvard orvosi karának közös kutatása fél évvel ezelőtt még húsz megkérdezett tapasztalatai alapján azt állapította meg, hogy a chatbotokkal folytatott beszélgetések jótékony hatással bírnak, erősítik az emberi kapcsolatokat és segítik a traumákból való felépülést.
A Stanfordi kutatás is elismeri a csevegő robotok terápiás potenciálját, és úgy vélik, hogy ezek az eszközök hasznosak lehetnek, ha képesek a felhasználók egészségügyi előzményeit figyelembe venni, interaktív kérdőíveket készíteni, és segíteni a valódi terapeuták munkáját az adminisztrációs feladatok terheinek csökkentésével. A kutatók hangsúlyozták, hogy nem szándékoznak teljesen kizárni a mesterséges intelligenciát a mentális egészségügyi ellátásból, de elengedhetetlennek tartják a biztonsági előírások betartását és betartatását. Mindeközben, milliók napi szinten lépnek interakcióba ezekkel a programokkal, ami egyfajta szabályozás nélküli, társadalmat érintő pszichológiai kísérletet teremt.
