Idempotent Inbox: události bez duplicit
Outbox v provozu: relay jako Polling Publisher v Symfony Console commandu, singleton, nebo FOR UPDATE SKIP LOCKED, past zavřeného EntityManageru. Debezium a Outbox Event Router, Doctrine transport jako outbox bez vlastní tabulky a proč pořadí platí jen per agregát. Idempotent Inbox s UNIQUE (event_id, consumer) v téže transakci a hranice exactly-once efektu. Outbox lag, kompakce, failed řádky, výpadek brokeru a migrace existujícího projektu krok za krokem.
Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗
Přepis dílu komentář tak, jak zazní ve videu
200 Kč místo 100
Modelová situace. Relay pošle událost OrderPlaced do brokeru a broker příjem potvrdí. Relay pak spadne dřív, než si řádek v outboxu označí jako odeslaný.
Po restartu řádek pořád čeká, a tak ho relay pošle znovu. Subscriber, který přičítá částku objednávky k útratě zákazníka, ji přičte podruhé.
Zákazník utratil sto korun a přehled mu ukazuje dvě stě. Subscriber přitom udělal přesně to, co měl v kódu.
Relay process – polling
Tabulka outbox sama nic nepublikuje. Řádky do brokeru nosí relay a katalog Chrise Richardsona pro něj zná dva vzory.
Polling Publisher se na tabulku ptá dotazem, a proto funguje nad libovolnou SQL databází. Transaction Log Tailing čte transakční log, v PostgreSQL write-ahead log, v MySQL binlog.
Kniha pracuje s první variantou. Obyčejný Symfony command ve smyčce bere dávky čekajících řádků. Každý vrátí na integrační událost, pošle na transport a označí jako odeslaný.
Běží pod supervisorem. Po hodině se sám ukončí a supervisor ho spustí znovu, stejně jako worker Messengeru s časovým limitem.
Zajímavé jsou oba bloky catch. Za výpadek brokeru, tedy TransportException, zpráva nemůže. Pokus se jí nepočítá a worker čeká, sekundu, dvě, čtyři, nejvýš třicet.
Jiná chyba patří konkrétní zprávě, třeba neznámému typu. Ta se připíše jako pokus.
V tomhle catch je past, kterou odhalí až produkce. Vyhodila-li výjimku Doctrine, je EntityManager po rollbacku zavřený. Zápis stavu spadne na další výjimce a worker skončí.
Podle dokumentace Doctrine patří další práce po výjimce novému EntityManageru. V catch se proto nejdřív volá resetManager na ManagerRegistry, který výpis kapitoly zatím nevstřikuje.
Druhá past je počet. Relay běží jako singleton, v supervisoru s jediným procesem.
Krátký odhad. Někdo stejný command pustí ve dvou kontejnerech. Co uvidí subscriber?
Každou událost dvakrát. Oba čtou tytéž čekající řádky a oba je publikují. Duplicity odchytí příjemce, ale broker i databáze dělají práci navíc.
Když jeden worker nestačí, přichází na řadu FOR UPDATE SKIP LOCKED, v PostgreSQL i v MySQL osm. Každý worker si zamkne vlastní dávku a zamčené řádky přeskočí.
Propustnost roste s počtem workerů, cenou je pořadí. Dvě události jedné objednávky můžou skončit v různých dávkách a vyjít prohozené. Pomůže rozdělit outbox podle ID agregátu.
Debezium, Doctrine transport a pořadí
Druhá varianta je change data capture, typicky Debezium nad Kafka Connect. Insert do outboxu uvidí v transakčním logu a pošle ho do Kafky.
Broker je pak v praxi jen Kafka a do provozu přibude konektor. Zaseknutý konektor drží replikační slot a transakční log se hromadí na disku primární databáze. Výhodou je pořadí uvnitř partition podle ID agregátu.
Debezium má i vlastní představu o schématu. Routuje podle sloupce aggregatetype a klíčem zprávy je aggregateid. Mazání ignoruje, takže kanonický model řádek vloží a hned smaže.
Schéma z minulého dílu by se muselo přejmenovat, nebo přemapovat. Kniha proto zůstává u pollingu, typickému Symfony projektu stačí.
Třetí cesta se obejde bez vlastní tabulky i relaye. Transport doctrine ukládá zprávy do tabulky Messengeru ve stejné databázi. Middleware doctrine transaction pak obalí agregát i zprávu jednou transakcí.
Transport má v roli outboxu dvě konfigurační pasti. DispatchAfterCurrentBusStamp z dílu dvanáct bé pošle zprávu až po commitu a vrátí dual-write. A auto setup uvnitř transakce tabulku nevytvoří, handler pak hlasitě spadne. Platí se formátem svázaným s Messengerem a chybějící historií.
Ještě pořadí. Řazení podle času vzniku slibuje víc, než dodá. Čas vzniká v PHP a hodiny serverů se rozcházejí. Sloupec má přesnost na sekundy. A selhání uprostřed dávky pustí pozdější událost před dřívější.
Spolehlivé pořadí jde držet jen pro jeden agregát přes klíč zprávy. Na globálním pořadí doménová logika stavět nesmí.
Idempotent Inbox
Ať relay běží jakkoli, doručuje at least once, a duplicitu tedy musí snést subscriber. Katalogy tomu říkají Idempotent Consumer, nebo starším jménem Idempotent Receiver.
Kniha používá pracovní jméno Idempotent Inbox. Princip znáte z tracking tabulky projektoru v dílu třináct bé.
Subscriber obalí celé zpracování transakcí. Nejdřív se zeptá inboxu, jestli událost už zpracoval. Když ano, zprávu jen potvrdí.
Když ne, udělá svou práci, tady upsert read modelu. A ve stejné transakci zapíše do inboxu dvojici eventId a jméno konzumenta.
Dva workery se stejnou zprávou ale projdou kontrolou oba, protože ani jeden ještě nic nezapsal.
Zachytí je až unikátní index. Druhý zápis spadne na UniqueConstraintViolationException a transakce se vrátí i s efektem. Po opakování zprávu zastaví kontrola.
Repozitář proto tu výjimku záměrně nechytá. Spolknutá by na MySQL nechala commitnout duplicitní efekt.
Krátký odhad. Index hlídá dvojici eventId a konzument. Co by se stalo, kdyby hlídal jen eventId?
Tutéž událost zpracovává víc subscriberů, třeba reporting a vyhledávání. Druhý by narazil na záznam prvního a událost by nezpracoval nikdy.
Efekt právě jednou ale platí jen ve stejné databázi jako inbox. E-mail nebo platba stojí mimo transakci. Spadne-li proces po odeslání a před commitem, efekt se zopakuje.
Tam pomůže až idempotence příjemce, třeba hlavička Idempotency-Key u platební brány.
A inbox roste. Řádek jde smazat až po maximální době života zprávy a nejdelším retry okně relaye. Kratší retence propustí opožděnou zprávu jako novou.
Provozní aspekty a anti-vzory
V provozu se sleduje hlavně outbox lag, stáří nejstaršího čekajícího řádku. Kniha jako orientační práh alertu uvádí třicet sekund. Nad ním se něco zaseklo, relay, broker, nebo databáze.
Tabulka navíc roste. Kompakce maže odeslané řádky starší než týden až měsíc, po dávkách z cronu. Jeden velký DELETE by držel zámky. A zkratka DELETE s LIMIT projde jen v MySQL a MariaDB.
Řádky ve stavu failed se automaticky nemažou nikdy. Dokládají nedoručenou událost a hlídá je alert na každý výskyt.
Krátký odhad. Broker leží půl hodiny. Mají se čekající řádky postupně přesouvat do failed?
Nemají. Pět pokusů s rostoucím odkladem by se vyčerpalo zhruba za půl minuty a ve failed by skončily i zdravé řádky. Proto relay chybu transportu do pokusů nepočítá.
Databáze přitom musí výpadek unést. Při modelových tisíci událostech za sekundu přibude za půl hodiny milion osm set tisíc řádků.
Z anti-vzorů kapitoly čtyři nejčastější. Publish přímo z agregátu před commitem, inbox bez unikátního indexu, kontrola inboxu mimo transakci s efektem a víc relayů bez koordinace.
Pravidlo pro relay zní, jeden, nebo SKIP LOCKED.
Migrace existujícího projektu
Starší projekt se stovkou handlerů se na outbox nepřevádí naráz. Přibývá handler po handleru, vedle stávajícího chování.
Nejdřív tabulka, kterou zatím nikdo nepoužívá. Pak jeden handler, typicky PlaceOrderHandler. Začne ukládat do outboxu a starý dispatch vedle toho zatím zůstane, visí na něm legacy subscribeři.
Starý dispatch ale posílá tutéž instanci integrační události, kterou handler ukládá do outboxu. Obě kopie tak nesou stejné eventId a inbox je později spáruje. Subscribery doménové události je proto potřeba přepnout na integrační tvar ve stejném kroku.
Krátký odhad. Třetí krok je inbox u subscriberů, čtvrtý relay. Proč právě v tomhle pořadí?
Dokud běží starý dispatch, dostanou subscribeři po nasazení relaye každou událost dvakrát. Subscriber bez inboxu by ji dvakrát i zpracoval. Inbox druhou kopii zahodí, pokud obě nesou stejné eventId.
Pátý krok vypne starý dispatch a je nejrizikovější. První dny se sleduje lag a duplicity v inboxu, v nouzi pomůže revert. Šestý krok měří a ladí prahy.
Otázky a shrnutí
Otázka na rozmyšlenou. Relay z dílu třináct bé, který si držel checkpoint na auto-increment ID, trpěl gap problémem. Trpí jím i relay nad outboxem se sloupcem status?
Netrpí, protože nemá checkpoint. Řádek je vidět až po commitu a zůstane pending, dokud ho relay nepublikuje. Opožděný commit vezme některý další cyklus.
A jedna z dílu čtrnáct bé. Sága drží zpracovaná eventId v seznamu uvnitř JSON sloupce, bez unikátního indexu. Co tam zachytí dva workery se stejnou událostí?
Verze řádku. Oba projdou kontrolou nad svou kopií, ale druhý zápis narazí na optimistický zámek a dostane OptimisticLockException. Messenger zprávu zopakuje a podruhé ji zastaví guard.
Takže v kostce. Relay doručuje at least once. Běží jako singleton, nebo se SKIP LOCKED, a pořadí drží jen pro jeden agregát.
Idempotent Inbox s unikátní dvojicí eventId a konzument, zapsaný v téže transakci jako efekt, dává efekt právě jednou.
Outbox je potřeba i provozovat. Zavádíte ho handler po handleru, inbox před relayem.
Příští díl přechází ke čtení. N plus jedna dotazů, žebříček eskalace a read model. Celou kapitolu o outboxu najdete v knize na ddd-v-symfony.katuscak.cz.