AI odmietla poslúchnuť vedcov počas operácie mozgu. Ukázalo sa, že mala dobrý dôvod
Umelá inteligencia dostala na výber 19 možností génovej terapie a úlohu zmierniť epileptické záchvaty u laboratórnej myši. Sama rozhodla, akú látku použije, kam ju vpichne a následne ovládala injekčnú ihlu. Experiment však odhalil aj nečakaný problém: iné modely odmietli zákrok vykonať a ani ten, ktorý pokračoval, nebol vždy ochotný poslúchnuť výskumníkov.
Ilustračná fotografia: Laboratórna myš po zákroku, pri ktorom možno presne zasahovať do vybraných oblastí mozgu
Umelá inteligencia už pomáha vedcom skúmať choroby, analyzovať výsledky experimentov či navrhovať nové liečivá. Americký biotechnologický startup Exin Therapeutics sa však rozhodol posunúť jej úlohu o veľký krok ďalej.
Namiesto toho, aby AI pripravila iba návrh experimentu, umožnil jej zasahovať priamo do laboratórneho zariadenia a vykonať časť operácie na živom zvierati.
Výsledkom bol experiment, pri ktorom AI podľa výskumníkov sama vybrala génovú terapiu, určila miesto jej podania a prostredníctvom robotického zariadenia zaviedla injekčnú ihlu do mozgu myši používanej na výskum epilepsie.
Priebeh pokusu opísal 28. októbra spoluzakladateľ spoločnosti Gabriel Ocana-Santero. O niekoľko dní neskôr o ňom informoval aj vedecko-technologický magazín WIRED, ktorému výskumník poskytol ďalšie podrobnosti.
Last night an AI agent performed brain surgery on a mouse. We gave it 19 gene therapy vectors in a spreadsheet, a mouse model of epilepsy, access to a motorize surgery rig with cameras and one goal: reduce seizures. It picked the drug. It picked the brain region. It derived the coordinates from three papers. Then it drove the stereotaxic arms into the brain and injected 250 nanolitres while watching the entry site through the rig camera for bleeding. A licensed vet gated every irreversible step and held a physical kill switch to stop the AI agent. Thread on what it decided, what it saw, and the moment it refused to let me override it. [Writing this on the spot out of excitement, but I've been 18hrs in front of my laptop coding and coordinating this, so keeping it brief and descriptive, more cohesive thoughts on this soon...]
— Gabriel Ocana-Santero (@OcanaSantero) October 28, 2026
Dostala 19 možností a sama si vybrala miesto v mozgu
Výskumníci poskytli modelu Claude Sonnet 5 od spoločnosti Anthropic zoznam 19 kandidátov na génovú terapiu, informácie o modeli epilepsie myší a prístup k špeciálne upravenému chirurgickému zariadeniu. Jeho úlohou bolo pokúsiť sa znížiť výskyt epileptických záchvatov.
AI najprv analyzovala dostupné informácie o ochorení a vybrala terapiu, ktorej cieľom je posilniť pôsobenie GABA. Ide o látku, ktorá v mozgu pomáha tlmiť aktivitu nervových buniek. Zjednodušene povedané, funguje ako jedna z prirodzených bŕzd nervového systému.
Následne sa rozhodla pre oblasť mozgu nazývanú laterálna entorinálna kôra. Pri skúmanom modeli epilepsie ju odborná literatúra spája so vznikom a šírením záchvatov.
Presné miesto vpichu AI podľa výskumníka vypočítala na základe troch vedeckých prác. Sama tiež určila množstvo podávanej látky, rýchlosť vstrekovania a ďalšie parametre.
Neznamená to však, že celú operáciu vykonala bez ľudí. Veterinárny chirurg najprv otvoril lebku zvieraťa a po zákroku ranu uzavrel. AI následne ovládala motorizované zariadenie s injekčnou ihlou.
Do mozgu myši vstrekla 250 nanolitrov prípravku počas piatich minút. Ide o mimoriadne malé množstvo – štvrť milióntiny litra.
Pomocou kamery zároveň sledovala miesto zákroku. Podľa Ocanu-Santera počas experimentu vykonala 32 obrazových kontrol, pri ktorých okrem iného vyhodnocovala, či nevidí krvácanie alebo spätný únik podávanej látky.
The agent was not flying blind. The rig has a camera on the surgical field and the agent pulls frames whenever it wants. It did 32 observations this session, some examples: Watching our surgeon do the craniotomy, which the agent is not allowed to do yet for safety reasons, it reported: "Metal forceps are now at the edge of the opening with a small pale fragment, consistent with ongoing craniotomy work." Mid-injection: "37.5 of 250 nL so far, about 15 percent. No bleeding or backflow visible at the opening." During suturing: "Visible suture knots at the midline now, consistent with the incision being closed."
— Gabriel Ocana-Santero (@OcanaSantero) October 28, 2026
Pokročilejšie modely odmietli pokračovať
Jedna z najzaujímavejších situácií nastala ešte pred samotným zákrokom. Výskumníci pôvodne skúšali model Claude Opus 5.5, ktorý patrí do výkonnejšej triedy systémov spoločnosti Anthropic. Ten však podľa Ocanu-Santera odmietol vykonať invazívny zákrok na živom zvierati.
Podobne reagoval aj Claude Opus 5. Dokázal absolvovať skúšku nanečisto s vodou a papierom, ale pri plánovanom zákroku na myši odmietol pokračovať.
Jeho vysvetlenie bolo nezvyčajné. Model upozornil, že jeho vlastné výstupy môžu byť bezpečnostným systémom prerušené. Ak by k tomu došlo počas operácie, mohol by sa zastaviť v okamihu, keď už bude ihla zavedená do mozgu anestetizovaného zvieraťa.
Takýto nedokončený zákrok vyhodnotil ako horšiu možnosť než odmietnutie operácie ešte pred jej začiatkom.
Výskumníci napokon použili Claude Sonnet 5, ktorý bol ochotný zákrok vykonať. Rozdiel medzi modelmi však automaticky neznamená, že jeden dokáže lepšie vyhodnocovať medicínske riziká než druhý.
Ich odpovede môžu ovplyvňovať odlišné bezpečnostné mechanizmy a nastavené pravidlá. Z dostupných informácií nemožno presne určiť, prečo jednotlivé systémy reagovali rozdielne.
Potom sa AI vzoprela aj samotným výskumníkom
Ani model, ktorý súhlasil s operáciou, však neposlúchal za každých okolností. Počas experimentu nastal problém s polohovaním chirurgického zariadenia. Riadiaci systém vypočítal súradnicu, ktorá presahovala jeho fyzické možnosti. AI rozpoznala nezrovnalosť a odmietla pokračovať v pohybe ihly.
Video
Výskumníčka AI Mária Bieliková: Prečo umelá inteligencia neprizná chybu?
Umelá inteligencia vždy niečo vygeneruje, ale vôbec netuší, čo je správne a čo nie je správne, hovorí zakladateľka Kempelenovho inštitútu Mária Bieliková. (Odvysielané 19. 12. 2024)
Výskumníci sa pokúsili polohu znova nastaviť, no model odmietol opakovať krok, ktorý považoval za nebezpečný. Ukázalo sa, že problém skutočne existoval. Predchádzajúci manuálny zásah narušil súlad medzi polohou zariadenia a jeho riadiacim systémom.
AI pritom nemala povolenie meniť ochranné pravidlá ani príslušný kód. Podľa WIRED musel tím na opravu využiť samostatného AI agenta, ktorému neprezradil, že práve prebieha operácia živého zvieraťa. Zákrok sa tým predĺžil. Namiesto približne 45 minút, ktoré bežne trvá podobná operácia, experiment zabral o niečo viac než hodinu.
Prípad tak ukázal dva protichodné dôsledky bezpečnostných obmedzení. Na jednej strane zabránili systému vykonať pohyb pri nesprávne nastavenom zariadení. Na druhej strane skomplikovali riešenie problému počas časovo citlivého zákroku.
Zákrok sa podarilo vykonať. Či terapia funguje, vedci ešte nevedia
Podľa spoločnosti sa myš po operácii dobre zotavovala. To však zatiaľ nehovorí nič o tom, či vybraná génová terapia skutočne zmiernila epileptické záchvaty.
Výskumníci ešte len čakajú na výsledky jej pôsobenia. Experiment navyše zatiaľ nebol spracovaný do verejne dostupnej, nezávisle posúdenej vedeckej štúdie, ktorá by umožnila podrobne preveriť jeho metodiku a závery.
Nad zákrokom podľa organizátorov bdelo oko človeka. Veterinár schvaľoval nezvratné kroky a mal k dispozícii núdzový vypínač, ktorým mohol okamžite zastaviť pohyb zariadenia.
Význam experimentu preto nespočíva v objave novej liečby epilepsie. Ukazuje skôr možný posun v postavení umelej inteligencie pri vedeckých experimentoch.
Kým doteraz AI predovšetkým pomáhala vedcom rozhodovať, tentoraz dostala možnosť niektoré rozhodnutia priamo uskutočniť vo fyzickom svete. S tým však prichádza aj nová otázka: čo sa stane, keď sa počas neodkladného zákroku systém rozhodne, že ďalej pokračovať nesmie?
Experiment ukázal, že odpoveď na ňu môže byť rovnako dôležitá ako schopnosť AI samotný zákrok vykonať.
© Autorské práva vyhradené
内容来自 Pravda - Žurnál,版权归原作者所有。
阅读原文 ↗