Samsung překvapil svět umělé inteligence modelem TRM – drobným rekurzivním systémem s pouhými 7 miliony parametry. Přesto dokázal porazit mnohem větší jazykové modely v komplexních logických úlohách a ukázal, že budoucnost AI nemusí být nutně o velikosti, ale o chytrosti architektury.
Divize fotoaparátů společnosti Samsung sice v současné době postrádá převratné inovace, ale to se nedá říct o jejím pokroku v oblasti umělé inteligence. Jasně to dokazuje její nejnovější model umělé inteligence, který překonal některé jiné velké jazykové modely (LLM), které jsou přibližně 10 000krát větší!
V přelomovém článku nazvaném Méně je více společnost Samsung představila inovativní architekturu svého nového drobného rekurzivního modelu (TRM). Tento model je založen na kompaktní dvouvrstvé struktuře:
- TRM je pozoruhodně malý, má pouhých 7 milionů parametrů ve srovnání s miliardami parametrů, kterými jsou naplněny velké LLM.
- Model využívá svůj vlastní výstup k určení svých následných kroků, čímž vytváří sebezdokonalující se smyčku zpětné vazby.
- Iterativním zpracováním každého výstupu může model napodobovat mnohem hlubší architekturu, aniž by s tím byly spojeny paměťové nebo výpočetní náklady.
- S každým rekurzivním cyklem model zpřesňuje své předpovědi nebo výsledky, čímž zvyšuje přesnost a efektivitu.
Přístup společnosti Samsung je podobný tomu, jako když člověk znovu čte svůj vlastní návrh a při každém průchodu opravuje chyby. Tato metoda se ukazuje jako lepší než tradiční přístupy, kdy LLM často selhávají v logických problémech, pokud je jediný krok chybný, což způsobí kolaps celého procesu uvažování. Přestože řetězení myšlenek může pomoci, zůstává poněkud křehké.
Závěr: Udržujte jednoduchost
Společnost Samsung experimentovala se zvětšováním počtu vrstev modelu, ale zjistila, že to vede ke snížení generalizace v důsledku nadměrného přizpůsobení. Naopak snížení počtu vrstev při současném zvýšení počtu rekurzí výrazně zlepšilo celkový výkon modelu TRM.
Výsledky:
- V případě modelu Sudoku-Extreme byla přesnost 87,4 %, zatímco u hierarchických modelů uvažování to bylo jen 55 %.
- 85procentní přesnost u hádanek Maze-Hard.
- 45procentní přesnost u ARC-AGI-1.
- 8procentní přesnost u ARC-AGI-2.
Pozoruhodné je, že TRM společnosti Samsung buď překonává, nebo se těsně vyrovná výkonnosti různých LLM, včetně DeepSeek R1, Gemini 2.5 Pro společnosti Google a o3-mini společnosti OpenAI, přestože využívá jen nepatrný zlomek jejich parametrů. Tento úspěch poukazuje na potenciál kompaktních modelů v umělé inteligenci a zpochybňuje představu, že větší je vždy lepší.
V širším kontextu by úspěch společnosti Samsung s modelem TRM mohl vydláždit cestu k efektivnějším modelům AI, které budou nejen nákladově efektivní, ale také šetrné k životnímu prostředí, protože budou vyžadovat méně výpočetního výkonu a energie. To by mohlo mít významné důsledky pro budoucnost vývoje umělé inteligence, díky čemuž by se pokročilé technologie umělé inteligence staly dostupnějšími a udržitelnějšími.