Saga v produkci: idempotence a timeouty
Ságy v Symfony v provozu: stav Process Manageru jako Doctrine entita, idempotentní přechody přes eventId, guard stavového automatu a unikátní index na korelaci, optimistický zámek. Chybějící izolace ságy a semantic lock na objednávce. Timeout check přes DelayStamp v Symfony Messengeru, forward a backward recovery, pivot transakce a kompenzace, které se jen opakují.
Přehrávač YouTube se načte až po kliknutí · otevřít na YouTube (nové okno) ↗
Přepis dílu komentář tak, jak zazní ve videu
Tři zásilky místo jedné
Modelový e-shop. Process Manager zpracuje událost StockReserved a odešle příkaz CreateShipment. Worker pak spadne dřív, než zprávu potvrdí.
Messenger ji po restartu doručí znovu a sága vytvoří druhou zásilku. Při dalším pádu třetí.
Nic přitom nespadne. Objednávka skončí odeslaná a dead letter queue zůstane prázdná. Nikde se to nepozná.
Stav ságy a idempotentní přechody
Process Manager si stav drží v databázi. Jinak by pád workeru mezi dvěma kroky smazal informaci, kde proces stojí, a sága by visela navždy.
Stav nese Doctrine entita OrderSaga v aplikační vrstvě. Průběh procesu je aplikační starost, ne doménový model.
Identitou ságy je korelační klíč, tady orderId. Kontext drží data pro kompenzace. A sloupec verze je optimistický zámek z dílu sedm bé.
Když dva workery uloží tutéž ságu současně, druhý dostane OptimisticLockException a Messenger zprávu zopakuje.
Krok platby z minulého dílu. Po opakovaném doručení si Process Manager stav načte a kontrola na ukončenou ságu ho nezastaví.
Sága tedy přejde do stejného stavu podruhé a oba příkazy odejdou znovu.
Krátký odhad. Jak poznat, že tahle událost už prošla? Stačí identifikátor zprávy, který přidělí transport?
Nestačí. TransportMessageIdStamp nese podle dokumentace identifikátor zprávy v konkrétním transportu. Retry zprávu odešle znovu a Doctrine transport jí přidělí nové id, totéž udělá jiný transport. A dvojí publikaci od odesílatele nepozná vůbec, jsou to dvě různé zprávy.
Identifikátor proto musí nést sama událost. Pole eventId dostane při vzniku, typicky UUID verze sedm.
Oprava přesune přechod do entity. Metoda applyPaymentSucceeded vrátí false, když se přechod neodehrál, a Process Manager pak nic neodešle.
Uvnitř jsou dvě kontroly. První hledá eventId mezi zpracovanými událostmi. Druhá je guard stavového automatu, platbu přijme jen ve stavu AwaitingPayment.
Událost mimo pořadí tak neprojde. Kapitola ji buď zahodí, nebo odloží ke zpracování později.
Obrana má tři prvky. Unikátní index nad typem ságy a korelačním klíčem zabrání dvěma ságám téže objednávky. Druhý zápis spadne na UniqueConstraintViolationException a handler skončí.
Seznam processedEventIds je inbox pro jednu ságu. A guard stavu odmítne událost, která přišla nevčas.
Kontrola nad JSON sloupcem ale není atomická. Souběžné workery projdou guardem oba a zachytí je až verze řádku. Guard navíc otevírá vlastní okno: když worker spadne mezi uložením ságy a odesláním příkazů, opakované doručení skončí na guardu a příkazy neodejdou.
Guard patří do každého kroku, i do rezervace a zásilky. Bez něj vyrobí opakovaná StockReserved zásilky z úvodu.
Druhá polovina obrany sedí v agregátu. Metoda markPaid při opakování tiše skončí. Jinak by příkaz po třech pokusech ležel v dead letter queue.
Izolace ság: ACD bez I
Databázová transakce má atomicitu, konzistenci, izolaci a trvanlivost. Sága jen tři z nich. Izolace chybí.
Každý commitnutý krok hned vidí ostatní procesy, dlouho před koncem ságy.
Vznikají anomálie známé z databází. Lost update, kdy storno přepíše změnu rozběhnuté ságy. A dirty read, kdy jiný proces přečte platbu, kterou kompenzace vzápětí vrátí.
Richardson popisuje šest protiopatření, kniha rozebírá čtyři. U commutative updates nezáleží na pořadí. Třeba u připsání částky je to jedno, u nastavení zůstatku ne.
Pessimistic view přesune nejrizikovější zápis za pivot. Reread value si hodnotu před zápisem načte znovu.
Nejčastější je ale semantic lock. Objednávka nese příznak, že na ní pracuje proces. Je to příznak vedle stavu, jinak by se stavový graf zdvojil.
Metoda cancel pak za běžící ságy vyhodí OrderLockedBySagaException. Odmítnutí je lepší než tiché storno. Sága by jinak dál strhla platbu a vytvořila zásilku ke zrušené objednávce.
Zámek má cenu, jen když ho někdo uvolní. Uvolnění proto patří do každé koncové větve ságy, i do té neúspěšné.
Samotný zámek ale nestačí. Process Manager navíc reaguje na OrderCancelled a kompenzuje hotové kroky. To pokrývá storna mimo okno zámku.
Třetí pojistka je guard na stav Compensating. Rezervace nebo zásilka, která dorazí až během kompenzace, se rovnou vrátí.
Krátký odhad. Smí zákazník zrušit objednávku, u které už běží platba?
Je to doménová volba. Odmítnout je přípustné a levnější. Kniha ale ukazuje i důsledek.
Objednávka tam vzniká rovnou zamčená, továrnu ukáže díl patnáct. Zámek se uvolní až u odeslané nebo zrušené objednávky, takže zákazník se ke stornu nedostane nikdy.
Pro skutečný e-shop to zpravidla neobstojí. Zámek jde nasadit až od vytvoření zásilky, nebo ho vynechat a spolehnout se na reakci na OrderCancelled.
Messenger, timeouty a deadliny
Ságu propojuje Messenger. Kapitola odděluje transport pro události a pro příkazy, oba s retry strategií. Každou zprávu vyzvedne jediný worker, doručení ale zůstává at least once.
Pozor na zprávu, která ságu spouští. Pod middlewarem doctrine transaction odejde do brokeru před commitem. Když commit selže, sága běží nad objednávkou, která neexistuje.
Takové zprávě se říká fantomová událost. Řeší ji outbox, téma příštího dílu.
A teď čekání. PaymentSucceeded nemusí dorazit nikdy. Bez timeoutu zůstane sága navždy ve stavu AwaitingPayment.
Řeší to timeout check. Process Manager odešle příkaz CheckSagaTimeout s razítkem DelayStamp a Messenger ho workeru doručí až po zadané době.
Plánuje se při každém přechodu do čekajícího stavu, ne jednou na začátku. Jinak by sága zaseklá na skladě nikoho neupozornila.
Handler nejdřív porovná stav. Když ho sága mezitím opustila, kontrola nic neudělá, a proto se nikde neruší.
Když sága pořád čeká na platbu, není co vracet. Skončí jako Failed a objednávku zruší CancelOrder. Při čekání na sklad už platba proběhla, takže sága přejde do kompenzace a pošle RefundCustomer.
AwaitingShipment v tabulce timeoutů chybí záměrně. Rezervace skladu je pivot a za ním se nekompenzuje. Prošlý čas tam znamená eskalaci operátorovi.
Krátký odhad. Co se stane, když CheckSagaTimeout zapomenete přidat do routingu v konfiguraci Messengeru?
Příkaz se zpracuje synchronně a hned. Synchronní cesta DelayStamp ignoruje. Kontrola proběhne dřív, než odpověď vůbec mohla dorazit, a sága čekající na platbu skončí jako Failed.
Asynchronní transporty odklad umí, Doctrine přes sloupec available at, RabbitMQ pomocnou frontou. Konkrétní limity patří do konfigurace.
Kompenzační strategie a pivot
Při selhání kroku rozhoduje povaha chyby. Přechodnou, třeba výpadek sítě, řeší nový pokus. Kniha tomu říká forward recovery a obstará ho retry Messengeru.
V článku Garcii-Moliny a Salema přitom tentýž termín znamená restart od uloženého bodu.
Trvalá chyba má doménovou příčinu, třeba vyprodané zboží. Tam nastupuje backward recovery, tedy kompenzace dokončených kroků v opačném pořadí.
V kódu to je smyčka nad hotovými kroky ságy, pozpátku. Ke každému kroku odejde jeho kompenzační příkaz.
Sága pak zůstane ve stavu Compensating. Refund je asynchronní, takže do Failed smí až po RefundSucceeded. Jinak by se při selhání refundu po penězích nikdo nesháněl.
Richardson dělí kroky ságy do tří skupin. Před pivotem stojí kroky s kompenzací, třeba platba.
Pivot je bod, za kterým sága už necouvá. Tady je to rezervace skladu.
Za ním jsou kroky, které nesmí selhat z doménových důvodů. Vytvoření zásilky a ShipOrder se jen opakují až do úspěchu.
Proč tedy existuje ReleaseStock? Klasifikace popisuje selhání kroku uvnitř ságy. Storno zvenčí nebo rezervace, která dorazí až během kompenzace, jsou jiný scénář.
Kompenzace samy patří do třetí skupiny. Peníze, které systém strhl, musí umět vrátit, takže selhání refundu je vždy technické.
Proto retry s backoffem. Po vyčerpání pokusů zpráva skončí ve failure transportu, přijde alert a na řadu je ruční zásah.
Zbytek kapitoly jen krátce. Paralelní kroky potřebují synchronizační bariéru. Zaseklé ságy hledá pravidelný příkaz. A testům ság se kapitola věnuje zvlášť, asynchronní toky otestuje díl sedmnáct.
Otázky a shrnutí
Otázka na rozmyšlenou. Handler, který ruší zásilku, po sobě nevydá žádnou událost. Co by se stalo, kdyby ohlásil ShipmentCreated jako handler pro vytvoření?
Process Manager je v tu chvíli ve stavu Compensating. Na ShipmentCreated odpoví dalším CancelShipment a vznikne nekonečná smyčka příkazu a události.
A jedna z dílu třináct bé. Proč musí projektor zapsat událost do tracking tabulky ve stejné transakci jako změnu projekce?
Kdyby worker spadl mezi zápisy, checkpoint zůstane a projekce chybí. Další doručení událost přeskočí. Sága má processedEventIds v témže řádku jako stav.
Takže v kostce. Každý přechod ságy je idempotentní. Pomáhá eventId z události, guard stavu, unikátní index na korelaci a verze řádku.
Sága nemá izolaci. Semantic lock a reakce na storno jsou doménová rozhodnutí.
Každý čekající stav má timeout. Za pivotem se už jen opakuje a eskaluje.
Příští díl dostane událost z databáze do brokeru spolehlivě. Transactional Outbox. Celou kapitolu o ságách najdete v knize na ddd-v-symfony.katuscak.cz.