Předvánoční období je pro e-shopy nejdůležitějším obdobím v roce. Každá hodina prodeje znamená statisíce korun, každý den výpadku může firmu stát miliony. Přesně to se stalo jedné společnosti, jejíž jméno raději nebudeme zmiňovat.
Den výpadku může firmu stát miliony
Všechno začalo nenápadně. Webový e-commerce systém (EShop Platform) se při ověřování skladové dostupnosti spoléhá na data z ERP systému, která jsou aktualizována prostřednictvím ETL procesu a ukládána v DWH. Kvůli chybě v ETL pipeline ale nedošlo k pravidelné synchronizaci mezi ERP a WMS (Warehouse Management System). Web tedy pracoval s neaktuálními daty – skladová zásoba nebyla ověřitelná, a objednávky proto neprocházely. Nejprve si toho všimli jen jednotliví zákazníci, ale s postupem času se stížnosti hromadily. Call centrum bylo zahlceno požadavky klientů, kteří si stěžovali, že jim nelze nakoupit zboží – každému zákazníkovi jiné. Operátoři netušili, v čem je problém, a tak jen slíbili, že věc předají dále. Po sérii podobných hovorů ale začalo být jasné, že nejde o ojedinělý problém. Vznikl ticket v JIRA.
Firma přicházela o statisíce každou hodinou
Bohužel, pracovník L1 supportu jej nevyhodnotil jako kritický a neposunul jej s dostatečnou prioritou. Minuty plynuly, telefonní linky kolabovaly a firma přicházela o statisíce každou hodinou.
O problému se IT dozvědělo až ve chvíli, kdy se ozvali skladníci. Běžně mají v sezóně od rána hromady nevyřízených objednávek z předešlého dne a noci a objednávkám z běžného dne se věnují až před polednem. Dnes ale žádné objednávky. Co se děje? Vedoucí skladu je chlapem na svém místě, tak hned šel dělat bugr a došel si na ajťáky.
Začalo horečné pátrání. Kde je chyba? Logy? Notifikace? IT dostává tisíce systémových zpráv denně – kdyby je měli všechny číst, nedělali by nic jiného. Vzduch v místnosti zhoustl napětím. Vývojáři přeskakovali mezi systémovými zprávami, jeden kontroloval síť, druhý API volání. Každá minuta znamenala další tisíce v nenávratnu. Jak dlouho už je web nefunkční? Hodiny ubíhaly, tržby mizely.
Po vyčerpávajícím pátrání se konečně ukázalo, že selhala komunikace mezi inventárním systémem a webem. Web si nemohl ověřit skladové zásoby, a tak raději neumožnil nákup vůbec. Oprava byla nakonec jednoduchá – ale škody už byly napáchané. Firma přišla o miliony, její pověst utrpěla a zklamaní zákazníci mezitím odešli ke konkurenci.
Tohle se dalo předvídat
Následná porada byla bouřlivá. Hledal se viník. Obchodní ředitel obviňoval IT, CEO byl naštvaný na všechny. Šéf IT se bránil – neustálé lepení problémů na koleně není jejich volba, ale důsledek podfinancování a tlaku na nové funkce místo prevence. Jedno ale bylo jasné: tohle se dalo předvídat.
Jména jsme vynechali, ale pokud se v tomto příběhu poznáváte, pravděpodobně máte stejný problém. Výpadky IT nejsou otázkou jestli, ale kdy. Rozdíl je v tom, jak na ně zareagujete. Ozvěte se nám. Qeedio vám pomůže být připraveni dřív, než bude pozdě.
