Měříme AI v týmu: od acceptance rate k DORA metrikám

Podle Jellyfish State of Engineering Report 2025 používá AI už 90% vývojových týmů, nárůst z 61% za jediný rok. A téměř polovina firem má dnes alespoň 50% kódu generovaného s pomocí AI.

‍

Ale tady je problém: pouze 33% engineering leaderů má data, která dokazují pozitivní ROI. Zbytek? „Likely positive but not yet quantified.” Jinými slovy věříme, ale nevíme.

‍

Proč měřit AI adopci

Nástroje jako GitHub Copilot, Claude Code nebo Cursor stojí peníze. Licence, API kredity, čas na školení. Bez měření nevíte:

• Kdo nástroje skutečně používá (a kdo ne)
• Jestli se investice vrací
• Kde jsou příležitosti ke zlepšení

‍

V Etneteře jsme si řekli, že chceme vidět data. Výsledkem je AI Checker, interní dashboard, který sbírá metriky ze čtyř AI nástrojů a ukazuje je na jednom místě.

‍

Co měříme (a proč to nestačí)

AI Checker agreguje data z GitHub Copilot, Claude Code, Cursor a Junie. Každou hodinu stahuje metriky a počítá:

‍

Acceptance rate: kolik AI návrhů vývojář přijal vs. odmítl. Je to první metrika, kterou každý měří. A má smysl. Ukazuje, jestli nástroj vůbec funguje ve vašem prostředí.

‍

Interakce: přepočet přijatých řádků kódu na interakce. Umožňuje srovnání napříč nástroji.

‍

Kategorizace uživatelů:

• AI_FIRST: >100 interakcí/den
• REGULAR: 20-100 interakcí/den
• LOW: 1-19 interakcí/den
• NON_USER: 0 interakcí/den

‍

Tohle vám řekne, kdo je power user a kdo potřebuje podpořit. Okamžitý přehled, bez složité implementace.

Ale pozor: Acceptance rate je to, co měříme, když ještě nevíme, co je důležité. Je to placeholder metrika. Chytré organizace ji používají dočasně. Ověří, že nástroj funguje, a pak přejdou na business metriky.

‍

Paradox produktivity: rychleji neznamená lépe

‍

Google DORA Report 2025 přinesl důležité zjištění: AI adopce koreluje s vyšším throughputem, ale také s vyšší nestabilitou.

‍

Konkrétní čísla:

• 90% nárůst AI adopce = odhadovaný 9% nárůst bug rate
• 91% nárůst času na code review
• 154% nárůst velikosti pull requestů
• 8x více bloků s duplicitním kódem

‍

A 67% vývojářů reportuje, že tráví více času debugováním AI-generovaného kódu. Tohle není důvod AI nepoužívat. Je to důvod měřit víc než jen acceptance rate.

‍

DORA metriky: co skutečně ukazuje výkonnost

DORA (DevOps Research and Assessment) od Google definuje čtyři klíčové metriky:

‍

Velocity metriky (rychlost)

• Deployment Frequency: jak často deployujete do produkce
• Lead Time for Changes: čas od commitu po produkci

‍

Stability metriky (spolehlivost)

• Change Failure Rate: procento deploymentů, které způsobí problémy
• Mean Time to Restore (MTTR): jak rychle opravíte výpadek

‍

Elitní týmy deployují vícekrát denně, mají lead time pod jeden den, change failure rate 0-15% a MTTR pod hodinu.

‍

Proč jsou DORA metriky lepší?

Protože měří výsledky, ne aktivitu. Acceptance rate vám řekne, že vývojář přijímá AI návrhy. DORA metriky vám řeknou, jestli díky tomu dodáváte rychleji a spolehlivěji.

‍

DORA Report 2025 to shrnuje jednou větou: „AI doesn't fix a team; it amplifies what's already there.” Týmy se silnými procesy využijí AI k vyššímu throughputu se stabilní kvalitou. Slabé týmy zjistí, že vyšší objem změn jen zhorší existující problémy.

‍

Praktický přístup: začněte hned, rostěte postupně

‍

Fáze 1: Okamžitý přehled (dny)

Začněte tím, co můžete měřit hned:

• Počet aktivních uživatelů AI nástrojů
• Acceptance rate
• Kategorizace (power users vs. non-users)

‍

To je to, co dělá AI Checker. Žádná složitá integrace, data z existujících API.

‍

Fáze 2: DORA metriky (měsíce)

Implementujte plné DORA měření:

• Napojení na CI/CD pipeline
• Tracking deployment frequency
• Měření MTTR z incident management systému

‍

Fáze 3: Business metriky (kontinuálně)

Propojte s business výsledky:

• Čas na dodání feature
• Náklady na vývoj
• Spokojenost zákazníků

‍

Technologie pod kapotou

AI Checker běží na moderním stacku:

• Backend: Node.js, Express, Prisma, PostgreSQL
• Frontend: Next.js, React, shadcn/ui, Recharts
• Auth: Azure Entra ID (SSO)
• Hosting: Azure Container Apps (scale-to-zero)
• Monitoring: Azure Application Insights

‍

Čtyři klientské knihovny stahují data z GitHub Copilot Metrics API, Anthropic Analytics API, Cursor Enterprise API a JetBrains Account API. Data se agregují do denních a měsíčních souhrnů.

‍

Proč se měření vyplatí

Data z Jellyfish ukazují konkrétní benefity měřené AI adopce:

• 113% více merged PRs na inženýra (z 1.36 na 2.9 při plné adopci)
• 24% kratší cycle time (z 16.7 na 12.7 hodin)

‍

GitHub reportuje podobné výsledky. Týmy s Copilotem mergují pull requesty o 50% rychleji a snížily lead time o 55%.

Firmy s daty o AI adopci vidí ROI během 3-6 měsíců. Ty bez měření? Věří, ale neví.

‍

Co říká DORA 2025: AI zesiluje existující stav. Týmy se silnými procesy (code review, CI/CD, testování) využijí AI k vyššímu throughputu. Proto je důležité měřit nejen adopci, ale i kvalitu a DORA metriky vám to umožní.

‍

Závěr: začněte měřit, směřujte k DORA

Dashboard jako AI Checker vám dá okamžitý přehled, kdo jsou vaši power users, jaké nástroje se nejvíc používají, jak roste adopce v čase.

‍

Je to první krok. Skutečná hodnota AI nástrojů se projeví v DORA metrikách. Dodáváte rychleji? Spolehlivěji? Elitní týmy podle DORA deployují vícekrát denně, mají lead time pod den a MTTR pod hodinu.

‍

Začněte jednoduchým měřením. Směřujte k business metrikám. A hlavně, měřte něco. Protože „likely positive but not yet quantified” není strategie.

‍

Chcete podobný dashboard pro vaši firmu? V Etneteře pomáháme s implementací AI nástrojů i jejich měřením. Ozvěte se nám.

‍