Event Sourcing: projekce, snapshoty a upcasting
Event Sourcing v provozu: projekce jako pozice ve streamu (checkpoint, restart, rebuild, lag), event_store jako outbox a gap problem s auto-incrementem. Idempotentní projektor s tracking tabulkou v jedné transakci, UPDATE bez řádku při doručení mimo pořadí, rebuild a blue/green přepnutí. Snapshoty jako zahoditelná zkratka (Rolling Snapshot), restoreVersion a past s modulo. Verzování událostí: upcaster fullName → firstName + lastName, co upcasting nevyřeší, čtyři strategie, migrační události a GDPR (forgettable payloads vs. crypto-shredding).
Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗
Přepis dílu komentář tak, jak zazní ve videu
Projekce, která mlčí
Modelová situace. Do projektoru dorazí OrderItemAdded dřív než OrderPlaced. Projektor spustí UPDATE na řádek objednávky, který ještě neexistuje.
Příkaz projde, jen nezmění ani jeden řádek. Položka v přehledu chybí a v logu po ní nezůstane jediná chyba.
Event Store přitom drží celou historii a projekci z něj jde postavit znovu. Jen je potřeba vědět, kde se data ztrácejí.
Projekce a Event Store jako outbox
Event Store vrátí stream jednoho agregátu. Všechny objednávky zákazníka nad tisíc korun ale nesestaví. Na to vznikají projekce.
Projekce je denormalizovaný read model ve tvaru dotazu. V kapitole je to tabulka order summary, jeden řádek na objednávku.
Synchronní projekce se zapíše v téže transakci jako událost. Read model hned sedí, zápis je ale pomalejší a strany těsně svázané. Pro začátek projektu kapitole stačí.
Asynchronní projekce jde přes frontu Messengeru. Zápis zrychlí a read model chvíli zaostává, jako v dílu dvanáct bé.
Asynchronní projekci ovšem kapitola nepopisuje jako handler, kterému chodí zprávy. Projekce si drží pozici ve streamu, takzvaný checkpoint, a od ní čte dál.
Restart projektoru pak nic nerozbije, čte se od uložené pozice. Rebuild znamená vrátit pozici na nulu a dojet celou historii.
Rozdíl mezi poslední zapsanou událostí a pozicí je lag. Podle kapitoly jediné číslo, které o zdraví read strany opravdu vypovídá.
Událost ale musí z Event Store spolehlivě doputovat do fronty. Obecně to řeší outbox z dílu patnáct. Tady druhá tabulka potřeba není.
Tabulka event store je append-only a každý řádek vzniká v téže transakci jako doménová změna. Stačí přidat relay, který čte nové řádky podle id a posílá je do Messengeru.
Pozici si relay ukládá do checkpointu. To ale nestačí, protože id se přiděluje už při INSERTu, a ne až při commitu.
Modelově. Transakce A dostane id sedm a zdrží se. Transakce B dostane id osm a commitne hned. Relay přečte osmičku a posune checkpoint.
Krátký odhad. Transakce A teď konečně commitne. Kdo řádek číslo sedm přečte?
Nikdo. Relay čte jen za checkpointem a ten už stojí na osmičce. Událost se tiše ztratí. Oskar Dudycz stejný problém popisuje u sekvencí v PostgreSQL.
Kapitola nabízí tři obrany. Čtení s překryvem za checkpoint a deduplikaci u konzumentů. Výběr přes FOR UPDATE SKIP LOCKED. Nebo change data capture, třeba Debezium.
Doručení je navíc at least once, stejná událost tedy může přijít znovu. A pořadí platí jen uvnitř streamu jednoho agregátu. Napříč agregáty zaručené není.
Idempotence, pořadí a rebuild projekcí
Opakované doručení je první problém projektorů. Položka se přičte dvakrát nebo vznikne duplicitní řádek. Obrany jsou dvě, upsert a tracking tabulka.
Tracking tabulka si pamatuje zpracované události. INSERT IGNORE do ní vrátí nula řádků, když tam událost už je. Projektor ji pak přeskočí.
Tahle ilustrační verze má ale díru. Checkpoint a zápis projekce jsou dva samostatné příkazy. Když worker spadne mezi nimi, checkpoint zůstane a projekce chybí.
Další doručení ji pak přeskočí a řádek v přehledu nikdy nevznikne. Nic přitom nespadne.
Oprava obalí oba zápisy do jedné transakce. Projdou buď oba, nebo žádný. Teprve tahle atomicita dělá z tracking tabulky idempotenci.
Když projekce drží jeden řádek na agregát, stačí upsert. Tracking tabulka se vyplatí, když jedna událost mění víc tabulek nebo řádků.
Zpátky k úvodu. At least once nezaručuje ani pořadí, takže UPDATE bez řádku se tiše ztratí.
Obranou je upsert, který chybějící řádek založí. Nebo sloupec s verzí v read modelu. Událost, která na uloženou verzi nenavazuje, jde zpátky do fronty.
Projekci jde také postavit znovu. Příkaz pro rebuild vyprázdní její tabulku, smaže její checkpointy a přehraje všechny události.
Maže produkční read model, a proto žádá potvrzení. Skripty ho přeskočí přepínačem force.
V produkci nesmí do stejné tabulky současně zapisovat worker a rebuild. Workery se buď zastaví, nebo přijde na řadu blue green rebuild.
Nová projekce se staví do stínové tabulky a stará zatím obsluhuje dotazy. Když lag klesne prakticky na nulu, čtení se přepne. Stará tabulka pár dní zůstane jako pojistka.
Snapshotting
Streamy s věkem systému rostou. Agregát s tisíci událostmi je musí přehrát při každém commandu.
Snapshot uloží stav agregátu po každých N událostech, nebo třeba jednou denně. Repozitář pak načte poslední snapshot a z Event Store dotáhne jen novější události.
Modelově podle diagramu kapitoly. Agregát má deset tisíc čtyřicet událostí. Snapshot na verzi deset tisíc zkrátí replay na čtyřicet novějších.
Greg Young tomu říká Rolling Snapshot a mluví o výkonnostní heuristice. Zdrojem pravdy zůstává stream a snapshot jde kdykoli zahodit.
Kdy s tím začít? Až replay měřitelně zpomalí, typicky u stovek až tisíců událostí. Interval padesát v ukázce je jen laditelný parametr.
Ze snapshotu agregát obnoví statická metoda reconstituteFromSnapshot. Apply nevolá, vlastnosti nastaví přímo ze snímku. Nakonec zavolá restoreVersion.
Krátký odhad. Co se stane, když restoreVersion vynecháte a agregát po snapshotu začne na verzi nula?
První uložení skončí konfliktem. Očekávaná verze vyjde od nuly, jenže stream už události má. Unikátní index z dílu třináct á zápis odmítne.
Snapshot vzniká v metodě save. Tahle ilustrační verze se ptá, jestli je verze agregátu násobkem padesáti.
Jenže jeden save může uložit víc událostí naráz. Agregát skočí ze čtyřiceti devíti na padesát jedna a na padesátku se nikdy netrefí.
Rozhoduje proto překročení násobku. Celočíselný podíl verze po zápisu je větší než před ním, a snapshot vznikne.
Snapshot kopíruje vnitřní stav agregátu. Po změně struktury staré snímky neplatí. U krátkých streamů se smažou, u dlouhých se migrují.
Verzování událostí a GDPR
Uložená událost se nemění, model se ale vyvíjí. Starou událost pak musí přečíst nový kód. Nejrozšířenějším vzorem je upcasting.
Upcaster převede payload o verzi výš a upcastery se řetězí, třeba z jedničky přes dvojku na trojku. Při čtení, data v Event Store zůstanou.
Nejpodrobněji verzování rozebírá Greg Young v knize Versioning in an Event Sourced System.
Příklad z kapitoly. Událost UserRegistered měla ve verzi jedna pole fullName. Verze dvě ho rozdělila na firstName a lastName.
Upcaster vezme celé jméno a rozdělí ho na první slovo a zbytek. Staré pole odstraní a vrátí payload ve verzi dvě.
Řetěz upcasterů sedí v serializeru a payload jím projde podle uložené verze schématu. Metoda fromPayload dostane jen aktuální tvar.
Kolik práce to dá, rozhoduje dělení z minulého dílu. Interní událost zvládne upcaster. Publikovaná je smlouva s cizími týmy a potřebuje přechodné období.
Krátký odhad. Pole shippingPrice dřív zahrnovalo DPH, od verze tři už ne. Napíšete na to upcaster?
Raději ne. Sazba DPH z okamžiku objednávky v události není. Upcaster by ji jen předpokládal a reporty by nesly chybná čísla.
Upcasting počítá s deterministickým překladem. Ten chybí i při rozdělení nebo sloučení událostí a při chybě ve staré doménové logice.
Pro tyhle případy má kapitola čtyři cesty. Copy and replace převede starý stream migrací do nového a starý nechá zmrazený jako audit.
Multi-version store nechá obě verze vedle sebe. Kompenzační událost starý fakt opraví novým, Young ji vede jako Reversal Transaction.
Double write se hodí pro publikované události. Aplikace po přechodnou dobu zapisuje obě verze a konzumenti se stěhují svým tempem. Young ho v knize o verzování probírá spolu se základním verzováním podle typu.
Zbývá GDPR a právo na výmaz. První volbou je referenční přístup, u Verraese forgettable payloads. Událost nese jen identifikátor a osobní údaje smaže DELETE v odděleném úložišti.
Druhou možností je crypto-shredding, zničit klíč k zašifrovaným osobním polím. Verraes ale připojuje odpověď Harrisona J. Browna, který to konzultoval s právníkem.
Zašifrovaný osobní údaj je podle GDPR pořád osobní údaj a zničení klíče výmazu nevyhoví. Crypto-shredding proto zůstává pro obchodně citlivá data.
Otázky a shrnutí
Otázka na rozmyšlenou. Proč rebuild kromě tabulky projekce maže i její checkpointy?
Kvůli tracking tabulce. Projektor by každou přehrávanou událost našel mezi zpracovanými a přeskočil ji. Rebuild by doběhl a tabulka zůstala prázdná.
A jedna z dílu dvanáct á. Proč je middleware doctrine transaction v rozporu s pravidlem, že jeden command mění jeden agregát?
Obaluje celý handler, takže dva zápisy různých agregátů projdou atomicky. Pravidlo pak hlídá code review, nebo transakce řízená v repozitáři.
Takže v kostce. Projekce je pozice ve streamu. Idempotenci, pořadí i rebuild je potřeba vyřešit vlastním kódem.
Snapshot je zahoditelná zkratka pro replay. Zdrojem pravdy zůstává stream.
Starou událost nejde přepsat. Tvar srovná upcaster, změnu významu řeší jiné strategie.
Příští díl otevírá ságy. I ony si drží pozici ve streamu, jen místo read modelu hlídají rozpracovaný proces. Celou kapitolu o Event Sourcingu najdete v knize na ddd-v-symfony.katuscak.cz.