BitNet je jedním z nejambicióznějších nástrojů v novodobé historii společnosti.
Vzestup umělé inteligence vedl k tomu, že se zvyšuje počet společností, které mají zájem využít předností této technologie. Jedním z příkladů může být záměr velkých technologických společností automatizovat některé úkoly, neboť se domnívají, že nástroje umělé inteligence by mohly převzít značnou část práce lidí. Než však budou moci pokračovat v plánech na zavedení umělé inteligence, musí vyřešit jeden problém: poptávku po zdrojích potřebných k uspokojení požadavků modelů AI.
Jak upozornil např. TechSpot, jeden z nových projektů společnosti Microsoft se zaměřuje na energetickou účinnost modelů umělé inteligence. Jedná se o BitNet b.158 2B4T, nový jazykový model americké firmy, který ke svému běhu vyžaduje pouze 400 MB paměti a žádný grafický procesor. Používá ternární kvantizaci (-1, 0 a +1), která umožňuje uložit každou váhu v pouhých 1,58 bitu, což drasticky snižuje spotřebu paměti. Kromě toho má 2 miliardy parametrů a po natrénování se 4 biliony tokenů hovoříme o ekvivalentu 33 milionů knih.
Ternární kvantizace je technika, která zjednodušuje výpočty tím, že snižuje hodnoty, s nimiž musí modely pracovat, což nejen šetří paměť, ale také snižuje spotřebu energie. To má zásadní význam ve světě, kde je udržitelnost a energetická účinnost stále důležitější. Snížením potřeby specializovaného hardwaru může síť BitNet demokratizovat přístup k pokročilé umělé inteligenci a umožnit starším nebo méně výkonným zařízením, aby rovněž využívala jejích schopností.
Uspěje Microsoft?
Podle amerického portálu je nový model Microsoftu schopen překonat zařízení jako Llama, Gemma a Qwen. Kromě toho efektivně pracuje i na standardních procesorech, což je situace, ze které těží možnosti, jako je čip M2 společnosti Apple, který nemá specializovaný hardware. Ve skutečnosti používá proprietární softwarový rámec nazvaný bitnet.cpp, což je aspekt navržený speciálně pro takovéto trojkové váhy.
Tento inovativní přístup má nejen potenciál snížit náklady pro společnosti, které chtějí nasadit umělou inteligenci, ale mohl by také otevřít nové příležitosti pro vývojáře a začínající podniky, které nemají přístup k nákladné infrastruktuře. Tím, že společnost Microsoft umožňuje spuštění komplexních modelů AI na více zařízeních, podporuje inkluzivnější a rozmanitější ekosystém pro vývoj AI.
— Diego | AI
AI model that can run on CPUs!
⁰Microsoft unveils BitNet b1.58 2B4T — a 1-bit AI model with 2B parameters that runs fast on CPUs and rivals big-name models in performance.Just don’t ditch your GPU yet — it needs Microsoft’s custom framework to shine.
pic.twitter.com/O0gKeChjxA
Díky všem výše uvedeným výhodám má jazykový model společnosti Microsoft o 85 % až 96 % nižší spotřebu než jiné tradiční možnosti, protože plně využívá jednoduchost své architektury. Model BitNet byl navíc od základu vycvičen s nízkou přesností, a proto se dokáže vyhnout ztrátě výkonu. Přímým důsledkem je, že může usnadnit provádění pokročilé umělé inteligence na osobních zařízeních bez závislosti na cloudu, ale má také omezení, jako je menší kontextové okno a omezená hardwarová podpora. Přesto je Microsoft plánuje v budoucnu zmírnit.
V současném kontextu, kdy je cloud computing normou pro mnoho služeb AI, by schopnost efektivně spouštět modely na lokálních zařízeních mohla změnit paradigma, jakým jsou aplikace AI vyvíjeny a nasazovány. Nejenže by se tím zlepšila ochrana soukromí, protože by se snížila potřeba odesílat data na externí servery, ale také by se mohla snížit latence, což by zlepšilo uživatelský zážitek.