ŽďárAI #4–Lokální AI asistent & Observabilita RAGu

Čtvrté setkání ŽďárAI — srazu programátorů a AI nadšenců z Vysočiny.

Kamil Tomšík ukáže, jak si postavil vlastního AI asistenta od nuly a proč ho nechává běžet na vlastním hardwaru s lokálním modelem. Patrik Onderka naváže tím, co je naučilo rozšiřování agentního RAGu pro právní rešerše a proč se bez trasovacích dat a evals neobejdete.

‍

Lokální modely s vlastním harnessem (60 minut)

Kamil Tomšík  LinkedIn

Kamil Tomšík je full-stack softwarový vývojář a spoluzakladatel startupu BoxOptima. Za 18 let v oboru pracoval pro startupy, banky, pojišťovny i menší webové projekty a vytvořil několik open source knihoven. Vedle JavaScriptu a TypeScriptu se věnuje také jazykům Zig, Rust, PHP a Java. Poslední tři roky se zaměřuje na systémové programování a machine learning. V dubnu zrušil všechna předplatná cloudových AI služeb a od té doby při vývoji používá pouze lokální jazykové modely.

‍

Kdykoliv si spustíte agenta typu Codex nebo Claude Code, běží u vás černá skříňka, které předáváte kontrolu nad vlastním počítačem. Ukážu, jak jsem si postavil vlastního AI asistenta od nuly – a proč to celé dává smysl nechat běžet na vašem hardwaru a lokálním modelu.

‍

Agent řekl „nevím“. Ale proč? Observabilita a evals právního RAGu v praxi (30 minut)

Patrik Onderka  LinkedIn

Patrik Onderka je programátor a spoluzakladatel vývojářské komunity GDG Jihlava. Má dlouholeté zkušenosti s vedením týmů a rozvojem webových i mobilních projektů. Ve společnosti Commity.cz působí jako tech lead a RAG ambassador. Mimo práci je hrdým otcem čtyř dětí, sběratelem investičních rumů, zapáleným hráčem deskových her a spolu s manželkou také chovatelem labradorských a zlatých retrívrů.

‍

Agent tvrdil, že paragraf nemá, přestože si ho sám načetl. Testy hlásily chybu, která byla ve skutečnosti v jejich zadání. A provoz stál dvakrát víc, než naměřily evaly. Volné pokračování přednášky z AI Monday, tentokrát techničtější: co nás naučilo rozšíření agentního RAGu pro právní rešerše z DPH na daně z příjmů a proč bez trasovacích dat a evals bychom o ničem z toho nevěděli. Ukážeme si i výsledky experimentu, jestli eval nástroje od Anthropicu dokáží rešerši zlevnit a zrychlit, aniž by utrpěla kvalita.

‍

Vstup zdarma, po přednáškách neformální networking.