Outbox Pattern: konec ztracených událostí
Dual-write problem v Symfony: zápis do databáze a odeslání do RabbitMQ jsou dvě transakce ve dvou systémech, takže se události ztrácejí, nebo vznikají phantom eventy. Proč ne two-phase commit a XA. Transactional Outbox: událost v téže Doctrine transakci jako agregát, relay a doručení at-least-once. Schéma outbox tabulky, povinný index (status, occurred_at) a PlaceOrderHandler, který překládá doménovou událost na integrační.
Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗
Přepis dílu komentář tak, jak zazní ve videu
Uloženo, ale neodesláno
Modelový e-shop. Handler uloží objednávku a databáze zápis rovnou potvrdí. Hned potom má odeslat událost OrderPlaced do RabbitMQ.
Mezi těmi dvěma řádky proces spadne. Třeba ho zabije nedostatek paměti, nebo worker restartuje nasazení.
Objednávka v databázi je. Platba, sklad ani e-mail se o ní nedozví a v logu po události nezůstane ani stopa.
Dual-write problem
Takový kód projde code review bez poznámky. Zápis do databáze a odeslání do brokeru jsou přitom dvě transakce ve dvou systémech. Každá může selhat sama.
Selhání mezi nimi má dva výsledky podle toho, kdy se commituje. Oba znáte z dílu dvanáct bé.
Bez middlewaru doctrine transaction commitne už flush. Objednávka existuje a událost se ztratí.
S middlewarem se commituje až po návratu handleru, takže zpráva odejde první. Selže-li pak commit, třeba na optimistickém zámku, dostanou subscribeři phantom event.
Platba se pokusí strhnout peníze za objednávku, která neexistuje. Notifikace pošlou e-mail s odkazem na stránku 404.
Krátký odhad. Stačí tedy pořadí prohodit? Nejdřív commit, a teprve potom odeslání.
Nestačí. Fantom zmizí, ale vrátí se ztracená událost. Pořadí jen vybírá, kterou z obou děr dostanete. Kapitola tomu říká dual-write problem.
Popsal ho Pat Helland v roce 2007, i když termín dual-write nepoužívá. Jakmile transakce přesáhne jedno úložiště, databáze atomicitu nezaručí a musí se o ni postarat aplikace.
Ani slovo outbox v jeho článku nepadne. Tabulku a relay popsal až Chris Richardson v roce 2018, v knize o mikroslužbách a v katalogu vzorů na webu.
Učebnicová odpověď je distribuovaná transakce, two-phase commit přes XA. Koordinátor se nejdřív všech účastníků zeptá, jestli můžou commitnout, a pak rozhodne za všechny.
V praxi to neprojde. RabbitMQ distribuované transakce neimplementuje. Kafka má transakce jen uvnitř Kafky a cloudové fronty XA nenabízejí vůbec.
Účastníci navíc drží zámky přes obě fáze. Vypadne-li koordinátor mezi nimi, zůstanou ve stavu, kdy nejde commitnout ani vrátit. Pomůže jen ruční zásah.
A sdílený koordinátor váže kontexty k sobě, což jde proti jejich autonomii. Outbox si vystačí s jednou transakcí v databázi, kterou aplikace stejně má.
Transactional Outbox – princip
Oprava je skoro nudná. Handler událost do brokeru neposílá. Zapíše ji jako řádek do tabulky outbox, ve stejné databázi a ve stejné transakci jako objednávku.
Buď se zapíše obojí, nebo nic. Oba zápisy leží v jedné databázové transakci.
Do brokeru řádky nosí samostatný proces, relay. Pravidelně, třeba každých sto milisekund, vybere čekající řádky seřazené podle času vzniku.
Každý řádek publikuje a po potvrzení z brokeru ho označí jako odeslaný. Subscriber pak zprávu zpracuje a příjem potvrdí brokeru.
Pořadí přitom platí jen přibližně. Proč, a jak relay běží v provozu, ukáže příští díl.
Krátký odhad. Relay zprávu publikuje, broker ji potvrdí a relay spadne dřív, než řádek označí jako odeslaný. Ztratí se událost, nebo přijde dvakrát?
Přijde dvakrát. Publikace a označení neběží v jedné transakci. Řádek po restartu pořád čeká, a tak ho relay pošle znovu.
Outbox proto garantuje doručení at least once. Občasná duplicita je cena, kterou se vědomě platí za to, že se žádná událost neztratí.
Doručení právě jednou v distribuovaném systému obecně neexistuje. Dosáhnout jde jen toho, aby se událost u subscribera projevila právě jednou. To je práce pro Idempotent Inbox z příštího dílu.
Schéma outbox tabulky
Jak ta tabulka vypadá? Kapitola jí dává jedenáct sloupců a u každého říká, jaký provozní problém řeší.
Identitu nese UUID verze sedm. Typ zprávy říká relayi, na jakou třídu payload vrátit.
Typ a ID agregátu tvoří klíč zprávy. Události jedné objednávky tak skončí ve stejné partition a drží pořadí.
Stav je pending, sent, nebo failed. Počet pokusů a čas dalšího pokusu zajišťují backoff, takže vadná zpráva nepálí pokus v každém cyklu. A poslední chyba se hodí při rozboru incidentu.
Entita v kapitole sedí v doménovém namespace. Kniha to přiznává jako zkratku, outbox je infrastrukturní vzor. Při přísném vrstvení patří do Infrastructure.
Povinný je kompozitní index nad stavem a časem vzniku. Bez něj relay při každém cyklu projde celou tabulku.
Modelově. Milion odeslaných řádků a sto čekajících. Relay se ptá každých sto milisekund a pokaždé čte milion řádků. Procesor databáze vyskočí ke sto procentům. S indexem sáhne jen na čekající řádky.
Krátký odhad. Proč index začíná stavem, a teprve potom časem? Proč ne obráceně?
Relay hledá jeden konkrétní stav a řadí podle času. V tomhle pořadí najde čekající řádky rovnou a už seřazené, bez dalšího třídění. A čekajících bývá pod jedno promile tabulky.
Agregát publikuje, handler ukládá do outboxu
Zbývá kód. Agregát o outboxu ani o RabbitMQ neví. Jen zaznamenává doménové události, zbytek obstará handler.
Kapitola přidává druhou továrnu vedle place, placeWithItems. Vezme položky z commandu, přidá je a objednávku potvrdí.
Na konci volá lockForSaga, semantic lock z minulého dílu. Objednávka tedy vzniká rovnou zamčená a zákazník se ke stornu nedostane. Pro skutečný e-shop to zpravidla neobstojí.
Z jednoho volání vzejde víc událostí. OrderPlaced, za každou položku OrderItemAdded a nakonec OrderConfirmed.
Handler z úvodu se změní na třech místech. Celé tělo obalí wrapInTransaction. Buď se zapíše objednávka i řádky outboxu, nebo nic.
Doménové události dál jdou na synchronní event bus. Posluchači v kontextu běží ve stejné transakci, a když spadne, zmizí i jejich zápisy. To dual-write není. Rozhoduje cíl zprávy, ne okamžik.
Co opouští proces, jde přes outbox. Handler událost přeloží na integrační tvar a uloží ji jako řádek. Metoda store přitom neflushuje, commit patří transakci kolem.
Jedna výhrada. Kanonický command bus knihy už middleware doctrine transaction má. Vnořený wrapInTransaction pak přebývá a zbude z něj savepoint. Transakce patří na jedno místo.
Překlad dělá výraz match. Dílčí události OrderItemAdded a OrderConfirmed zůstávají uvnitř kontextu. Integrační tvar má jen OrderPlaced, protože nese celou objednávku i s položkami.
Neznámá událost vyhodí LogicException. Chybějící překlad je chyba v kódu, ne něco, co se má potichu přeskočit.
Proč dvě třídy? Doménová OrderPlaced nese hodnotové objekty OrderId a CustomerId. Integrační verze nese jen řetězce, čísla a pole.
Navíc má vlastní eventId pro deduplikaci u příjemce. Přípona Event ji odlišuje od doménové OrderPlaced, doménové události ji podle konvence knihy nemají.
Krátký odhad. Proč do outboxu nejde rovnou doménová OrderPlaced?
Hodnotové objekty by se serializovaly jako objekty s jediným polem value a patří dovnitř kontextu. Opačně by integrační tvar zatáhl do domény pole místo položek. Proto překlad na hranici.
Otázky a shrnutí
Otázka na rozmyšlenou. Handler uloží objednávku i řádek do outboxu, a pak selže commit. Co dostanou subscribeři?
Nic. Rollback vezme objednávku i řádek outboxu. Relay nemá co publikovat a žádný fantom nevznikne.
A jedna z dílu třináct bé. Proč kontext s Event Sourcingem nepotřebuje samostatnou tabulku outbox?
Event store je append-only a každý řádek v něm vzniká v téže transakci jako změna. Relay čte přímo z něj a pozici si drží v checkpointu. Jen musí ošetřit mezery v pořadí, třeba čtením s překryvem a deduplikací.
Takže v kostce. Zápis do databáze a odeslání do brokeru bez společné transakce buď ztratí událost, nebo vyrobí fantom.
Outbox dá událost do stejné transakce jako agregát. Do brokeru ji pošle až relay, alespoň jednou.
Přes hranici jde integrační událost s primitivy a eventId. Doménová zůstává v kontextu.
Příští díl: relay v provozu, duplicity u příjemce a Idempotent Inbox. Celou kapitolu o outboxu najdete v knize na ddd-v-symfony.katuscak.cz.