Výrobní linka na počítače v jedné z továren nadnárodního dodavatele elektroniky se náhle zastavila několik hodin po změně konfigurace a upgradu řídícího systému. Provoz, který běžel plně automaticky na základě objednávek z e-shopu a ERP systému SAP, ustal ve chvíli, kdy zhavaroval datový přenos mezi informačními systémy.
Nakonec jsem musel všechno zrušit a objednat jinde.
Klíčová část IT infrastruktury neselhala ihned, ale po postupném, okem nepostřehnutelném zpomalení taktu výroby, které bylo zapříčiněno zahlcením aplikačních rozhraní linky chybnými datovými zprávami, kterým IT specialisté nevěnovali pozornost, takže na to IT specialisté firmy přišli až po několika hodinách. Firma následně čelila masivním finančním ztrátám. Stovky objednávek zůstalo nevyřízených.
„Objednávku mi potvrdili, zaplatil jsem ji, ale počítač nikde,“ svěřil se rozhořčeně zákazník, který si vybral výkonnou herní sestavu. „Nejhorší je, že mi nikdo nedokázal říct, kdy počítač dostanu. Nakonec jsem musel všechno zrušit a objednat jinde.“
Podobně se rozhodl další zákazník, který se k vyjádření připojil prostřednictvím sociálních sítí:
„Čekal jsem několik dnů, ale přestalo mě to bavit. Objednávku jsem stornoval,“ uvádí ve svém příspěvku. „Pokud má firma takto nespolehlivé technologie, jak můžu věřit, že se něco podobného nestane znovu?“
Bylo to jako hledat jehlu v kupce sena
Zaměstnanci firmy se ihned po výpadku snažili zjistit, co mohlo způsobit totální selhání digitálního řetězce. Kombinace změny konfigurace a upgradu řídícího systému linky a následného výpadku jedné z datových linek mezi ERP systémem a řídícím počítačem linky dokázala zastavit celou výrobu. IT specialista, který se účastnil celodenního zásahu, popisuje napjatou situaci:
„Seděli jsme u serverů a hledali chybu dlouhých osm hodin. Bylo to jako hledat jehlu v kupce sena,“ říká. „Nakonec se ukázalo, že došlo k selhání v modulu, který má na starosti přenos výrobních příkazů z ERP do řídicího počítače linky. Oprava byla docela složitá, museli jsme obnovit částečně poškozenou databázi a znovu propojit komunikaci.“
Celé se to sype a jakmile jednou ztratíme důvěru, bude těžké zákazníky získat zpátky.
Firma zatím sčítala ztráty a ukázalo se, že nepůjde jen o peníze za nedodané nebo pozdě dodané zboží. Kritika zákazníků na sociálních sítích měla dlouhodobé dopady. Obchodní zástupce společnosti, který vyřizoval objednávky a reklamace, nešetřil obavami:
„Momentálně jsme ve skluzu s veškerými zakázkami. Přicházíme nejen o tržby, ale hlavně o reputaci. Denně mi volá několik rozčilených zákazníků, kteří požadují okamžité dodání nebo storno objednávek a navrácení peněz,“ konstatoval obchodník. „Celé se to sype a jakmile jednou ztratíme důvěru, bude těžké zákazníky získat zpátky.“
Nepříjemně působil i tlak ze strany vedení firmy. Manažer výroby v reakci na vzniklou situaci nevyloučil, že dojde k vnitrofiremnímu vyšetřování:
„Musíme zjistit, jestli tu došlo k lidskému pochybení, špatné údržbě systému, nebo nás poškodila externí chyba. V každém případě je to pro firmu velký problém,“ říká. „Už teď víme o několika větších odběratelích, kteří kvůli tomuto incidentu přehodnocují spolupráci.“
Ztratili jsme vyšší stovky tisíc korun každou hodinu výpadku
Stejně kriticky se vyjádřil i majitel společnosti, který neskrýval své rozhořčení a nevyloučil právní dohru:
„Ztratili jsme vyšší stovky tisíc korun každou hodinu výpadku a ta částka se může ještě několikanásobně zvýšit. Hledáme viníka. Je pro mě nepřípustné, aby jediná chyba v komunikaci systémů zastavila celý provoz,“ tvrdí rezolutně. „Zvažujeme další investice do monitorovacích a prediktivních nástrojů, které by dokázaly podobným výpadkům zabránit.“
Odborníci upozorňují, že se výrobní linka dala chránit prediktivním monitorovacím systémem, který by včas rozeznal odchylky v přenosu dat a předešel tak výpadku.
Jedním z takových řešení je Qeedio – Process Guard, který dokáže odhalit anomálie a varovat personál dříve, než selhání opravdu nastane. Máte obavu z podobné události? Kontaktujte nás!
