Architektura pro AI agenty: Jak zajistit odolnost a bezpečnost v produkci

Design for Failure: Odolnost jako základní vlastnost

V cloudovém prostředí platí pravidlo: Počítejte s tím, že všechno dříve či později selže. U agentů to platí dvojnásob. Pokud má agent na starost proces, který trvá měsíc (například čekání na schválení faktury nebo doručení podkladů), nemůžeme ho držet aktivního celou dobu v paměti. To by bylo neudržitelné a drahé.

‍

Moderní agentní platformy proto využívají princip orchestrace a persistence:

• Stavový agent: Agent si po každém kroku ukládá svůj stav do databáze. Pokud dojde k restartu nebo chybě, agent se probudí, načte svůj poslední stav a pokračuje přesně tam, kde skončil.
• Replayování akcí: V případě chyby systém umožní znovu přehrát určité kroky (replay), aby se ověřilo, zda byla chyba náhodná (výpadek sítě), nebo systémová.

Bezpečnost v první linii: Virtuální klíče a LLM Gateway

Dát agentovi přímý přístup k vašemu hlavnímu API klíči od OpenAI nebo Anthropicu je bezpečnostní noční můra. Pokud by došlo k úniku, útočník má otevřené dveře k vašemu rozpočtu i datům.

‍

Řešením je LLM Gateway a koncept virtuálních klíčů:

• Abstrakce klíčů: Skutečný klíč od poskytovatele modelu je bezpečně uložen v gateway (bráně). Agenti mezi sebou a bránou používají pouze své vlastní virtuální klíče.
• Kontrola a rotace: Virtuální klíč je svázán s konkrétním agentem a úkolem. Pokud klíč unikne, je mimo kontrolované prostředí brány nepoužitelný. Navíc lze tyto klíče automaticky rotovat a omezovat jejich platnost.
• Enforcement pravidel: Gateway funguje jako filtr. Může kontrolovat, zda agent do modelu neposílá citlivá data (GDPR, rodná čísla) nebo zda se chování agenta nevymyká nastaveným pravidlům (např. tone of voice).

Blueprinty: Standardizace a verzování

Aby se vývoj agentů nezvrhl v chaos, využívá se koncept blueprintu (šablony). Agent je definován strukturovaně (např. v JSON), což zahrnuje jeho instrukce, dostupné nástroje a bezpečnostní limity. Tento přístup umožňuje agenty snadno verzovat (jako běžný kód) a nasazovat v různých prostředích (SaaS, on-prem, hybrid) s jistotou, že se budou chovat predikovatelně.

Chcete se dozvědět více?

Tento článek čerpá z diskuse na našem nedávném webináři. Rozebírali jsme v něm nejen LLM Gateway a orchestraci, ale také konkrétní ukázky toho, jak vypadá blueprint agenta a jak se nastavují automatizované testy v sandboxovém prostředí.

👉 Přehrát záznam webináře

‍

‍

‍

‍

‍