Umělá inteligence dokáže pracovat s vašimi soubory a běží zcela nezávisle na internetové službě 3. strany. Chat with RTX je AI chatbot, kterého si můžete upravit a doučit dle potřeb. NVIDIA bezplatně zveřejnila demoverzi aplikace. Co umí?
NVIDIA s Chat with RTX reaguje na potřeby uživatelů. Těm chce poskytnout personalizovaného chatbota schopného pracovat s jejich vlastními daty. To vše lokálně, bez nutnosti připojení k internetu.
Uživatelé tak navíc mohu naplno využít potenciálu jejich grafických karet. Ty už dnes zdaleka nemusí sloužit jen pro hry. Karty řady GeForce RTX mají pro akceleraci AI dedikovaná tzv. Tensor jádra, podobně jako pro ray tracing se používají RT jádra. Jde o specializované čipy, které jsou optimalizované pro výpočetní operace spojené s AI. Mezigeneračně u grafických karet a čipů roste jejich počet i výkon a díky tomu je jejich přínos pro AI stále větší. Skvěle je dokáží využít např. grafické programy typu Adobe Photoshop či DaVinci Resolve.
Co je třeba pro spuštění Chat with RTX?
Pro využití Chat with RTX je nutné disponovat počítačem s NVIDIA GeForce RTX řady 30 a 40, alespoň 8 GB VRAM, s operačním systémem Windows, alespoň 16 GB RAM a dostatkem místa na disku – instalační soubor zabírá 35,1 GB.
Chat With RTX nyní vychází jako demoverze aplikace, umožňující běh a personalizaci velkého jazykového modelu (LLM) s přístupem k vašim dokumentům, poznámkám, videím nebo jiným datům. Díky technologii retrieval-augmented generation (RAG), TensorRT-LLM a akceleraci RTX můžete klást dotazy vlastnímu chatbotovi a rychle získat kontextově relevantní odpovědi. Vše běží lokálně na vašem počítači nebo pracovní stanici s Windows a GPU řady RTX, což zaručuje rychlé výsledky a bezpečnost.
Chatujte se svými dokumenty. Chat with RTX podporuje různé formáty souborů, včetně text, pdf, doc/docx a xml. Stačí aplikaci odkázat na složku s vašimi soubory a ta je do knihovny načte během několika sekund. Kromě toho můžete zadat také URL adresu playlistu na YouTube a aplikace si sama načte přepisy videí, což vám umožní dotazovat se na jejich obsah.
AI chatbot zdarma na vašem počítači
Chat with RTX využívá laděný jazykový model Mistral. Chat with RTX od NVIDIA ukazuje, jak bude v budoucnu běžné interagovat s osobními daty. Nabízí bezprecedentní úroveň personalizace, bezpečnosti a kontroly nad vlastními daty, vše z pohodlí lokálního prostředí bez potřeby cloudových služeb. S rozšířením možností pro vývojáře a podporou pro širokou škálu formátů je Chat with RTX příslibem budoucnosti, ve které je AI skutečně naším osobním asistentem. Vyzkoušet ho už nyní můžete i vy. Pokud splňuje váš PC parametry zmíněné výše, můžete si jej stáhnout zdarma ze stránek NVIDIA.
Čipy NVIDIA GeForce RTX najdete v PC i noteboocích. Pokud jej máte v PC, můžete AI vyzkoušet i vy. Foto: Unsplash
Na rozdíl od cloudových řešení, jako je ChatGPT 4.0, který sice nabízí lepší výsledky díky větším prostředkům a výkonu, má Chat with RTX výhodu v podobě plné kontroly nad uživatelskými daty. Od cloudové služby bychom asi nechtěli, aby se nám vratala v osobních souborech. U lokální AI problém s odesíláním dat do cloudu odpadá.
Je vidět, že výrobce grafických a AI čipů se snaží ze svého technologického náskoku vytěžit maximum. NVIDIA nyní zažívá zlaté časy, kterým se nemůže rovnat ani kryptoměnová horečka předchozích let. Potvrzuje to i hodnota akcií, která je na rekordním maximu a dělá z NVIDIA 3. nejhodnotnější firmu na světě. Hodnotou tento týden dokonce překonala e-commerce giganta Amazon.
Zdroje: Redakce inSmart.cz, NVIDIA
