Špičkové modely, které byly doposud určeny pouze pro běh v cloudu, nyní dokážou běžet přímo na vašem počítači. Skvělé výsledky hlásí především uživatelé s NVIDIA RTX a čipy Apple Silicon.
Samozřejmě nejde o přímé konkurenty stávajících velkých jazykových modelů dostupných prostřednictvím služeb typu Claude a ChatGPT, ale o rodinu open-source modelů gpt-oss, která představuje první vážnou alternativu ke cloudovým službám. A výkon? Ten je skutečně působivý.
Dva modely, dva světy použití
OpenAI představila dvě varianty svých nových modelů, každou s jasně definovaným účelem. Model gpt-oss-20b cílí na nadšence a pokročilé uživatele s AI PC vybavených grafikami a alespoň 16 GB VRAM.
Foto: Se souhlasem NVIDIA
Např. na nové GeForce RTX 5090 dokáže zpracovat až 250 tokenů za sekundu, což to je rychlost, která je na domácím hardwaru překvapivá. Větší model gpt-oss-120b pak míří na profesionální pracovní stanice.
Oba modely podporují kontext o délce až 131 072 tokenů, což patří mezi nejvyšší hodnoty dostupné pro lokální modely. V praxi to znamená, že můžete modelu předložit rozsáhlé dokumenty nebo vést velmi dlouhé konverzace bez ztráty kontextu.
Modely využívají pokročilou architekturu mixture-of-experts (MoE) a jako první podporují na RTX GPU formát MXFP4. Tahle technická novinka není jen marketingový trik. MXFP4 zvyšuje kvalitu a přesnost modelu bez ztráty výkonu. Podle NVIDIA dosahuje lepších výsledků při stejné rychlosti.
Jak začít: Tři cesty
Nejjednodušší start nabízí aplikace Ollama s přímou podporou gpt-oss modelů optimalizovanou pro RTX (dostupné jsou i modely pro uživatele s jiným hardwarem). Pro ty, kdo preferují více kontroly, tu máme Llama.cpp s nedávnými optimalizacemi pro CUDA Graphs.
Windows uživatelé mojen využít Microsoft AI Foundry Local v rámci veřejného preview. Spuštění je otázkou jediného příkazu v terminálu:
Foundry model run gpt-oss-20bNVIDIA navázala s OpenAI úzkou spolupráci. Jensen Huang, CEO NVIDIA, vidí v této spolupráci víc než jen technický pokrok: „OpenAI ukázala světu, co je možné vybudovat na hardwaru NVIDIA a nyní posouvají inovace i v oblasti open-source softwaru.“
Co to znamená pro běžné uživatele?
Konečně přišla doba, kdy můžete pracovat se špičkovým AI modelem bez připojení k internetu, bez platby za cloudové služby a s plnou kontrolou nad svými daty. To není science fiction, ale realita dostupná už dnes.
Foto: Freepik
Rychlost 250 tokenů za sekundu znamená téměř instantní odezvu při generování textu, analýze dokumentů nebo programování. Pro porovnání, cloudové služby často dosahují nižších rychlostí kvůli síťové latenci a sdílení zdrojů. Např. GPT-4o generuje odpovědi při rychlosti 153 tokenů za sekundu.
Éra skutečně chytrých AI modelů běžících na lokálním hardwaru je tady. Lze tak očekávat, že výrobci hardwaru a softwaru budou jejich služby hojně využívat.
Zdroj: TZ NVIDIA
