DÍL 16b KAPITOLA 16 · SEKCE 16.03, 16.05, 16.06, 16.08, 16.09, ZBYTEK 16.10

Unit of Work a hot aggregate: DDD pod zátěží

Výkon DDD aplikace na straně zápisu: kdy velký agregát opravdu zabolí a proč hranici určuje invariant, ne výkon. Identity Map, Unit of Work a dirty checking v Doctrine ORM 3, dávkový import s flush() a clear(), odpojené entity, read-only entity a DEFERRED_EXPLICIT. Hromadný DQL UPDATE, toIterable() a import rozdělený přes Symfony Messenger. V provozu hot aggregate a jeho metrika, pesimistický zámek jako anti-vzor, replikační lag, projection lag ve dvou číslech a čtyři čísla, která se vyplatí sledovat trvale.

Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗

Přepis dílu komentář tak, jak zazní ve videu

Každý flush pomalejší

Modelová situace. Import produktů ukládá po stovkách a každý další flush trvá déle než ten předchozí.

Paměť přitom stoupá, jako by aplikace měla memory leak. Nic ale neuniká, Doctrine si jen všechno pamatuje.

Uložené produkty zůstávají v Identity Map až do konce běhu. A každý flush prochází všechny, i ty dávno uložené.

Agregát a výkon: správné určení hranic

Tenhle díl patří zápisu a začíná u hranice agregátu. Když je moc široká, tahá agregát z databáze celý objektový graf, i když operace potřebuje jen kořen.

Modelová šablona detailu objednávky. Načte ji přes get a vypíše hlavičku, tedy identifikátor, datum a zákazníka.

Krátký odhad. Který řádek téhle šablony stojí nejvíc?

Poslední. Metoda get volá find a ten položky nenačte, kolekce zůstane lazy. Teprve totalAmount položky sčítá, a Doctrine proto kolekci načte právě teď.

Kapitola modelově počítá s tisícem položek. Jeden SELECT s tisíci řádky, kvůli hlavičce, která žádnou položku neukazuje.

Nejdřív je potřeba ověřit, jestli položky do agregátu vůbec patří. Rozhoduje invariant.

Drží-li objednávka pravidlo přes celou kolekci, třeba limit počtu položek nebo minimální hodnotu košíku, kolekce zůstává uvnitř.

Když žádné takové pravidlo nedrží, může být položka samostatným agregátem s odkazem na OrderId. Vyčlenit ji je pak oprava návrhu, ne výkonnostní trik.

Výkon je tu signál, že kolekce do invariantu nikdy nepatřila. Důvodem rozbít invariant ale není. Na to je read model z minulého dílu.

Repozitář pak nabídne dvě metody. Kanonické get položky nenačítá.

Příkaz, který s kolekcí pracuje, zavolá getWithItems a dostane ji fetch joinem v jednom dotazu.

Identity Map a Unit of Work

Krátce k identitě. Agregát ji zná už před uložením, generuje ji doména.

Náhodné UUID verze čtyři padá do indexu na náhodná místa a fragmentuje ho. Verze sedm roste s časem a zapisuje se na konec, jak ukázal díl sedm bé.

Doctrine drží spravované objekty v Identity Map. Načtete-li tentýž agregát dvakrát přes find, podruhé dostanete stejnou instanci a dotaz neodejde.

Změny sleduje Unit of Work. Při flush porovná každý spravovaný objekt se snímkem z načtení a UPDATE pošle jen za skutečné změny. Tomu se říká dirty checking.

U web requestu s pár agregáty je to pohodlí. Import ale do Identity Map nasype tisíce objektů.

Tady je import z úvodu. Persist přidá produkt do Identity Map, SQL zatím nevydá. Po každých sto kusech přijde flush.

Uložené produkty ale zůstávají spravované. Druhý flush porovnává dvě stě objektů, desátý už tisíc.

Oprava je jeden řádek. Po flush přijde clear, který Identity Map vyprázdní. PHP pak může objekty uvolnit z paměti.

Sto entit jsou přitom pořád sto INSERTů. Dávka šetří paměť a dirty checking, ne dotazy.

Velikost dávky je empirická. Dokumentace Doctrine radí zkoušet a měřit, stovka je jen výchozí bod.

Krátký odhad. Po clear změníte cenu produktu, který jste načetli ještě před ním, a zavoláte flush. Co se stane?

Nic. Objekt je po clear odpojený, anglicky detached. Flush jeho změny mlčky ignoruje a výjimku nehodí.

Doctrine tři navíc volbu zúžila. Clear nepřijímá argument a odpojí vždy všechno. Metoda merge zmizela, takže odpojený objekt se znovu načte přes find.

Dirty checking jde i zúžit. Číselník, který se během běhu nemění, lze označit jako read-only. Celou třídu atributem, jednu instanci přes markReadOnly.

Druhou možností je DEFERRED_EXPLICIT. Flush pak kontroluje jen objekty předané do persist. Zapomenuté persist ale znamená tiše neuloženou změnu.

Bulk operace a hromadné zpracování

Někdy doménová logika potřeba není. Hromadnou změnu stavu po migraci zvládne jeden DQL UPDATE.

Obchází ale Identity Map i Unit of Work. Podle dokumentace Doctrine nezvedne ani sloupec verze a přeskočí zámky i události. Patří proto jen do migrací a administrace.

Objekty, které už v paměti jsou, se s databází nesrovnají. Bezpečné je pustit UPDATE dřív, než se cokoli načte. Clear na konci je pojistka, ne oprava.

Druhá půlka dávky je čtení. Metoda getResult načte celý výsledek do pole. Naproti tomu toIterable hydratuje po jednom řádku.

Má dvě omezení. S fetch joinem kolekce nefunguje, protože jeden agregát se v SQL rozteče do více řádků. A vydané objekty zůstávají spravované, takže clear je potřeba i tady.

Velký import se navíc nemusí odehrát v jednom procesu. Vstupní handler rozseká řádky po stovce a každý kus odešle jako samostatnou zprávu ImportProductChunk.

Zprávy pak zpracují workery, klidně souběžně. Paměť jedné zprávy je předvídatelná a chyba nezastaví celou dávku.

Worker, který běží hodiny, si paměť přesto nasčítá. Startuje proto s limity a restart obstará supervisor nebo systemd.

Krátký odhad. ImportProductChunk chybí v routingu Messengeru. Co se stane?

Messenger ji zpracuje hned a synchronně, v procesu, který ji odeslal. Rozdělení pak nic nepřineslo.

Provozní výkonové vzory a co měřit

Hot aggregate znáte z dílu sedm bé. Mění ho současně mnoho klientů, třeba sklad jednoho produktu při rozjezdu kampaně.

Optimistický zámek pak hází OptimisticLockException. Dokud jsou konflikty výjimečné, druhý pokus projde a retry je levný.

S přibývajícími konflikty roste podíl zahozené práce. Systém se propadne do sériového provozu. Propustnost klesá a latence stoupá.

Univerzální práh neexistuje. Měřit jde podíl OptimisticLockException na pokusech o zápis a ten patří do monitoringu natrvalo.

Řešení mají pořadí. Nejdřív nová hranice. Horký Inventory často není jeden agregát, ale několik, třeba jeden na sklad. Konflikty pak vznikají jen uvnitř skladu.

Druhá cesta je eventual consistency, kdy rezervaci zpracuje asynchronně sága s kompenzací. Třetí platí pro čisté čítače, kterým stačí UPDATE s n plus jedna.

Láká i pesimistický zámek. Konflikty zmizí, jenže klienti čekají ve frontě v databázi, zámek drží celou transakci a roste riziko deadlocku.

Zámek zakryje příznak, ne příčinu. Je-li agregát hot, je špatně jeho hranice.

Read modely se hodí na read repliku. Zápis zůstává na primary a dotazy jdou na repliku. Replikace má ale zpoždění.

Uživatel odešle formulář a hned vidí výpis bez své změny. Nejlevnější obranou je routing. Po zápisu se session na chvíli přilepí na primary a čte odtud.

Jak velký lag je, záleží na konkrétním nasazení, proto se měří. Na replice Postgresu na to stačí jeden dotaz.

Asynchronní projekce za zápisem vždycky zaostává. Projektor si drží checkpoint, pozici poslední zpracované události. Rozdíl proti nejnovější události ve streamu je projection lag.

Vyjadřuje se dvěma čísly. Počet nezpracovaných událostí říká, kolik práce zbývá. Stáří té nejstarší zase ukazuje, co uvidí uživatel.

Krátký odhad. Projekce se zasekla na jedné chybné události. Které z obou čísel to prozradí?

Stáří. Počet zůstane malý, ale nejstarší událost stárne každou minutou. Do monitoringu proto patří obě čísla.

Snapshoty z dílu třináct bé jsou z pohledu výkonu nouzové řešení, ne výchozí volba. Zavádějí se, až replay měřitelně zpomalí.

Kapitola končí čtyřmi čísly pro trvalé sledování. Dotazy na request a čas v databázi znáte z minulého dílu.

Přibývá projection lag a paměť workeru mezi restarty. Roste-li lineárně s počtem zpráv, chybí clear.

A než padne rozhodnutí rozdělit agregát kvůli výkonu, ověřte předehřátý OPcache v produkci. Bez něj měření vypovídá o čemkoli, jen ne o doménovém modelu.

Otázky a shrnutí

Otázka na rozmyšlenou. Import po každé stovce volá flush a clear. Na začátku si načte kategorii a přiřazuje ji každému novému produktu. Co se stane ve druhé dávce?

Flush spadne. Kategorie je po prvním clear odpojená a Doctrine ji v asociaci nového produktu považuje za novou entitu. Hodí ORMInvalidArgumentException. Po každém clear se proto kategorie načte znovu.

A jedna z dílu čtrnáct á. Čím se kompenzační transakce liší od rollbacku?

Rollback změny vymaže, jako by se nikdy nestaly. Kompenzace je normální doménová operace s vlastními efekty, třeba refundace s notifikací zákazníkovi.

Takže v kostce. Hranici agregátu určuje invariant. Výkon je jen signál, že kolekce do hranice nepatří.

V dávce flush a clear, hromadná změna jedním DQL UPDATE a velké úlohy rozdělené přes Messenger.

Hot aggregate řeší nová hranice, ne zámek. A provoz hlídají čtyři čísla včetně projection lagu.

Příští díl otevírá testování. Doména bez kernelu, tedy unit testy agregátů, doménové události a InMemory repozitáře. Celou kapitolu najdete v knize na ddd-v-symfony.katuscak.cz.

← Všechny díly videokurzu