Umělá inteligence začíná ohrožovat samotné základy vědeckého poznání. Chatboti generují věrohodně znějící, ale zcela smyšlené citace, které se šíří akademickými texty a podkopávají důvěru v celé odvětví výzkumu. Naděje se mění ve varování.
Tento efekt byl očekávaný, ale přesto je stejně nebezpečný. Vzestup multimodálních modelů AI způsobil, že je prakticky všichni používáme k dosažení efektivity nebo nalezení nejlepších zdrojů při vyhledávání informací, přičemž je třeba mít na paměti, že chatboti jako Claude, ChatGPT nebo Gemini mají přístup prakticky ke všem znalostem, které lidstvo má, pokud jde o školení.
A právě to umělou inteligenci ohrožuje, protože jak před několika dny zveřejnili kolegové z časopisu Rolling Stone, pravdou je, že modely umělé inteligence se už dávno naučily lhát a vymýšlet si odkazy na podporu svých odpovědí, čímž se nás snaží přesvědčit, že mají pravdu, i když ve skutečnosti podávají stoprocentně nepravdivé informace.
Zpráva pochází z rozhovoru s Andrewem Heissem, docentem na katedře veřejného managementu a politiky na Andrew Young School of Policy Studies na Georgijské státní univerzitě, který si při hodnocení studentských prací před několika týdny všiml podivných odkazů a vymyšlených citací na neexistující vědecké články, které neměly nic společného s informacemi potřebnými k podložení prací.
Heiss říká, že v článcích bylo „hodně článků vytvořených umělou inteligencí, kterých si obvykle všimneme a rychle je stáhneme“, zejména v odkazech, infografikách a informacích generovaných modely umělé inteligence. Nejen to, ale rozšířením vyhledávání vymyšlených zdrojů v Google Scholar profesor zjistil, že více dříve publikovaných výzkumných článků bylo založeno na výsledcích a/nebo variantách studií a časopisů vymyšlených umělou inteligencí.
To poskytuje zdroje, které se zdají být pravdivé, ale odkazují na studie, které pravdivé nejsou, čímž se vynálezy AI vybílí, protože mnoho studentů a výzkumníků na tyto odkazy narazí a věří, že zdroj je platný, i když ve skutečnosti není.
„Věci generované umělou inteligencí“ jsou propagovány v jiných skutečných věcech, takže studenti je vidí citované ve skutečných věcech a předpokládají, že jsou skutečné, a jsou zmateni, proč ztrácejí body za použití falešných zdrojů, když jiné skutečné zdroje je používají. Vše se zdá být skutečné a průhledné.“
Možná nás umělá inteligence místo toho, aby nám pomáhala být efektivní, v blízké budoucnosti dovede do světa, kde při psaní studií a vyplňování dokumentace strávíme více času kontrolou, zda jsou naše odkazy platné.
Umělá inteligence je skutečně přesvědčivá, protože reference vždy vypadají reálně, včetně jmen žijících akademiků nebo názvů, které se podobají skutečné literatuře. Ve skutečnosti v některých případech tyto odkazy dokonce vedou ke skutečným autorům, přestože název článku i časopisu vymyslel model UI.
„LLM jsou zhoubné, protože v podstatě znečišťují ekosystém předcházejících informací. Neexistující citace se objevují v nedbalém nebo nepoctivém výzkumu a odtud se dostávají do dalších článků a článků, které je citují, a do dalších, které je citují, a pak končí ve vodě. Je to zcela předvídatelný výsledek záměrných rozhodnutí.“ Anthony Moser, softwarový inženýr a technolog.
Jde o to, že umělá inteligence vše zaplnila falešnými výzkumy a vymyšlenými odkazy, takže veškerému lidskému vědění hrozí kontaminace modely, čímž se spustí proces, který někteří méně optimističtí výzkumníci nazvali „zničení vědění“.
Inženýr a technolog Anthony Moser je jedním z nich:„Dovedu si představit, jak profesor někde sestavuje učební plán s ChatGPT a zadává četbu z neexistujících knih.“ V tomto případě se jedná o to, že by si měl profesor vytvořit učební plán s pomocí ChatGPT a zadávat četbu z neexistujících knih.
Má pocit, že vědci jsou nyní zasypáni lavinou plev a mají také velmi omezenou možnost je prosévat, protože existuje také tlak na další publikování článků, které posouvají otevřený výzkum.
Určitě je třeba kritičtěji přijímat umělou inteligenci, abychom nebyli tak důvěřiví, ale je jasné, že právě teď není snadné věřit jakékoli informaci a budeme muset věnovat čas jejímu prověřování, ověřování, zda jsou zdroje spolehlivé….. Je to trochu skličující, ale opravdu to bylo na dlouho.
@acagamic So, this happened… ChatGPT still creates false citations. (AI is getting better at faking academic research) I study the impact of AI on academic research. After 12 months of analyzing ChatGPT outputs: → It still makes up papers that don’t exist → It still combines real & fake references → It still gets more convincing each day → It still invents authors who aren’t real The scariest part? These fake citations look more realistic. They match expected publication years They fit the research context perfectly They sound academically legitimate They use plausible author names They follow proper formatting 🚨 It’s dangerous alright. Students shouldn’t trust it blindly Real research gets messed up Reviewers must spot all fakes False info spreads rapidly Science integrity suffers But the solution isn’t avoiding AI. It’s knowing how to use it properly: → Cross-check with Google Scholar → Use established databases only → Verify every citation manually Trust me: Take the extra time to verify. P.S. Have you caught ChatGPT making up citations for you? #researchpaper #acwri #academicwriting #phd #phdchat #hciresearch #genai #ai #academia #phdstudent #phdlife
Je to ještě horší, protože se zdá, že v množství výzkumných článků se množí odkazy na vymyšlené články nebo neexistující vědecké časopisy, odkazy, které zjevně pocházejí z používání umělé inteligence a nejsou ověřeny akademickými pracovníky, což podkopává legitimitu jakéhokoli vědeckého výzkumu a lidského poznání obecně.
Umělá inteligence má potenciál proměnit lidské poznání, ale pokud se s ní nezachází správně, představuje také značná rizika. Šíření falešných referencí a vymyšlených studií je připomínkou potřeby kritičtějšího a opatrnějšího přístupu k využívání těchto technologií. Vzhledem k tomu, že směřujeme ke stále digitálnější budoucnosti, je nezbytné, abychom vyvinuli strategie, které zajistí integritu a přesnost vědeckých poznatků.