DÍL 16a KAPITOLA 16 · SEKCE 16.01, 16.02, 16.04, 16.07, ČÁST 16.10

N+1 a read model v Doctrine: rychlé čtení v DDD

Výkon DDD aplikace na straně čtení: tři mýty o pomalém DDD a celá Knuthova věta o předčasné optimalizaci. N+1 dotazy z lazy kolekce v Doctrine ORM 3, EXTRA_LAZY, fetch join v DQL, past setMaxResults s fetch joinem a Paginator, eager fetch po dávkách a keyset paging místo OFFSETu. Žebříček eskalace od indexu po asynchronní projekci, DQL NEW do DTO, cache read modelu přes Symfony Cache Contracts s tagy a invalidací z doménové události a dvě čísla ze Symfony Profileru.

Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗

Přepis dílu komentář tak, jak zazní ve videu

Dvacet objednávek, dvacet jedna dotazů

Modelová situace. Stránka ukazuje dvacet objednávek i s položkami a profiler u ní napočítá dvacet jedna dotazů.

Jeden načte seznam. Každá objednávka pak při prvním sáhnutí na položky pošle do databáze vlastní SELECT.

Svádí to k závěru, že DDD je pomalé. Doménový model za to ale nemůže. Dotazy vydává lazy loading kolekce, tedy způsob, jakým aplikace používá Doctrine.

Výkon v kontextu DDD

Pověst pomalého DDD stojí spíš na historkách než na měření. Kapitola proti ní staví tři mýty.

Krátký odhad k prvnímu. Kolik běhové režie přidá agregát oproti anemické entitě se settery?

Žádnou. Doménové třídy jsou obyčejné PHP objekty. Režie vzniká v persistenci, v tom, kolik dat se načte a kolika dotazy.

Druhý mýtus viní agregáty ze zbytečného spojování tabulek. To ale vzniká u příliš široké hranice, která tahá data, co volající nepoužije.

Třetí míří na Doctrine. Ta přitom nabízí DQL, nativní dotazy, kolekce EXTRA_LAZY i cache dotazů a výsledků. Úzké místo bývá ve způsobu, jak ji aplikace používá.

Proto se neoptimalizuje naslepo. Knuthova věta o předčasné optimalizaci jako kořeni všeho zla se navíc skoro vždycky cituje useknutá.

Knuth v roce tisíc devět set sedmdesát čtyři psal, že na drobné úspory máme zhruba v devadesáti sedmi procentech případů zapomenout. Kritická tři procenta ale promeškat nechtěl.

Optimalizaci tedy nezakazuje, jen vymezuje, kde má smysl. Nejdřív profilovat, najít skutečné úzké místo a teprve pak sáhnout do kódu.

Kapitola má dvě poloviny, které se nesmí plést. Na straně zápisu rozhoduje konzistence a žádná optimalizace nesmí porušit invariant.

Strana čtení žádný invariant nedrží. Data tam smějí být denormalizovaná, zdvojená, klidně i trochu zastaralá. Tenhle díl zůstává na ní, zápis přijde příště.

N+1 problém a lazy loading v Doctrine

Zpátky k úvodní smyčce. Kolekce jsou v Doctrine ve výchozím stavu lazy. Dokud na ně kód nesáhne, zůstanou nenačtené.

Když je kód nepoužije, je to výhoda. Iterace přes dvacet objednávek ale z každé udělá samostatný dotaz. Tomu se říká N plus jedna.

Díl sedm bé zmínil kolekci EXTRA_LAZY. Ta vyřídí count, contains nebo slice přímým dotazem, bez načtení položek. Smyčka přes položky ji ale stejně načte celou.

Když je předem jasné, že se bude procházet, patří do dotazu fetch join. Alias spojené kolekce se přidá do SELECT a Doctrine hydratuje objednávky i s položkami.

Místo dvaceti jedna dotazů odejde jeden. Spojení je přitom záměrně LEFT. Vnitřní join by objednávky bez položek ze seznamu tiše vypustil.

Kniha tuhle metodu dává do samostatné třídy OrderQueryRepository, pro exporty a hromadné přepočty. Obrazovky podle ní entity nehydratují vůbec.

Krátký odhad. Stejný dotaz dostane setMaxResults dvacet. Kolik objednávek se vrátí?

Klidně méně. LIMIT v SQL řeže řádky a objednávka se kvůli joinu opakuje v tolika řádcích, kolik má položek. Doctrine nic nevypíše a vrátí méně objednávek, nebo oříznuté kolekce.

Řešením je Paginator. Nejdřív objednávky spočítá, pak vybere identifikátory pro stránku a teprve k nim dotáhne data. Jsou to tři dotazy. Parametr fetchJoinCollection false ušetří jeden, ale jen když dotaz nespojuje žádnou kolekci.

Třetí cesta vede přes mapování. Kolekce s fetch EAGER se načte druhým dotazem po dávkách, výchozí dávka je sto. Z N plus jedna dotazů zbude N děleno sto plus jedna. Dávky ale dostane jen kolekce OneToMany, a ani ta vždycky ne. ManyToMany stojí jeden dotaz na každého rodiče, takže N plus jedna zůstává.

Háček je v tom, že EAGER platí globálně, i pro dotazy, které položky vůbec nepotřebují. Dokumentace Doctrine proto doporučuje fetch join a EAGER zůstává poslední volbou.

Ještě stránkování. Řádky před OFFSETem databáze nepřeskočí, musí je projít a zahodit. Čím vzdálenější stránka, tím víc práce naprázdno. A mezi dvěma požadavky se seznam může posunout.

Keyset paging místo offsetu použije klíč poslední položky předchozí stránky. Podmínka musí pokrýt celé řazení včetně unikátního sloupce, jinak se na hranici stránek ztratí záznamy se stejným časem.

Cenou je skok na libovolnou stránku. Tlačítko další a předchozí funguje, stránka sto třicet sedm už ne.

Optimalizace read modelu a žebříček eskalace

Nejvíc výkonu při čtení přinese, když ho oddělíte od zápisu. Strana čtení doménové objekty nepotřebuje a vrací rovnou data ve tvaru obrazovky.

Zároveň je to ale nejdražší krok. Martin Fowler, jak zaznělo v dílu dvanáct á, píše, že většině systémů CQRS přidává složitost a s ní riziko. Kapitola proto před samostatným read modelem prochází levnější stupně.

Krátký odhad. Dotaz na seznam objednávek je pomalý. Co zkusíte jako první?

Index. Je to nejlevnější zásah bez změny kódu a jestli chybí, řekne EXPLAIN ANALYZE.

Druhá příčka je dotaz mimo ORM. DBAL vrátí obyčejné pole, takže odpadne Identity Map i hlídání změn.

Pak replika, na kterou jde čtení. Model zůstane stejný, přibude replikační zpoždění. Čtvrtá je Fowlerova reporting databáze, kopie provozních dat uspořádaná pro dotazy.

Pátý stupeň je materializovaný pohled v PostgreSQL, obnovovaný příkazem REFRESH MATERIALIZED VIEW. Nahoře stojí asynchronní projekce. Dává tvaru dat nejvíc volnosti a v provozu stojí nejvíc, jak víte z dílů dvanáct a třináct.

Stranu čtení jde postavit i bez vlastní tabulky, přímo v DQL. Operátor NEW hydratuje výsledek rovnou do DTO a žádná spravovaná entita nevznikne.

Součet objednávky spočítá SQL. Metoda totalAmount na agregátu by pro každý řádek načetla celou kolekci položek.

Všimněte si i spojení s položkami. Alias i stojí jen uvnitř agregačních funkcí, takže nejde o fetch join. Díky GROUP BY vrací dotaz jeden řádek na objednávku a setMaxResults tu stránkuje správně.

Caching read modelu a profiling

Do cache patří výsledky read modelu. Stav agregátu, který se právě mění, tam nepatří, četl by se zastaralý. Deserializovaný agregát je navíc odpojený od Unit of Work a jeho lazy asociace nefungují.

Doctrine sice umí cachovat výsledky dotazu, jenže se invalidují klíčem. Bez vlastního ID si Doctrine vygeneruje hash, který v kódu nezopakujete, a záznam zmizí až vypršením.

Kapitola proto cachuje o patro výš. Tohle je GetUserProfileHandler z dílu dvanáct á, jen s cache před repozitářem pro čtení.

Cache Contracts spustí callback jen tehdy, když záznam v cache chybí. Ten pak žije pět minut a nese tag s ID uživatele.

Během výpočtu drží zámek, takže po vypršení hodnotu přepočítá jen jeden proces na serveru. Ve výchozím stavu navíc jeden náhodný požadavek přepočítá záznam ještě před vypršením, tím spíš, čím blíž je konci platnosti. Hodnota beta jedna v ukázce je výchozí, napsaná jen pro názornost. Nula by předčasný přepočet vypnula. Obojí brání cache stampede, kdy tentýž dotaz spustí stovky požadavků najednou.

Zneplatnění obstará doménová událost. Kanonický User ji zatím nenahrává, kapitola ho o UserEmailChanged rozšiřuje.

Handler na sběrnici událostí smaže tag. Jedním voláním zmizí profil, řádek v seznamu i dlaždice na dashboardu.

Zbývá poznat, kdy vůbec zasáhnout. Ve vývoji to ukáže Symfony Profiler a jeho panel Doctrine. Počet dotazů na request prozradí N plus jedna dřív než uživatel.

Kapitola radí sledovat dvě čísla. Nejpomalejší dotaz a součet času v databázi za celý request.

Krátký odhad. Modelově sto dotazů po dvou milisekundách, proti jednomu dotazu za dvě stě. Bolí to stejně. Co je co?

Sto rychlých dotazů je N plus jedna a pomůže fetch join nebo read model. Jeden pomalý obvykle znamená chybějící index. EXPLAIN ANALYZE pak ukáže průchod celou tabulkou.

Otázky a shrnutí

Otázka na rozmyšlenou. Seznam objednávek má ukázat i jméno zákazníka. Proč to fetch join v OrderQueryRepository nevyřeší?

Protože není co spojit. Order drží jen CustomerId a asociaci na zákazníka kniha na straně zápisu zakazuje. Jméno patří do read modelu, kde se tabulky spojí v SQL.

A jedna z dílu třináct bé. Synchronní projekce nemá žádné zpoždění. Čím za to platí?

Pomalejším zápisem, protože běží v téže transakci. A těsnou vazbou mezi stranou zápisu a stranou čtení.

Takže v kostce. N plus jedna vyřeší fetch join v dotazu. EAGER přichází na řadu až nakonec a hluboké stránkování nahradí keyset.

Před projekcí se jde po žebříčku. Index, dotaz mimo ORM, replika, a teprve potom vlastní read model.

Cache drží ViewModel a zneplatní ji tag z doménové události. Kdy zasáhnout, řekne profiler.

Příští díl přechází k zápisu. Hranice agregátu, Unit of Work, dávky a provoz pod zátěží. Celou kapitolu najdete v knize na ddd-v-symfony.katuscak.cz.

← Všechny díly videokurzu