Vážení zákazníci,
Dne 14.9.2020 zaznamenala naše společnost Gransy s.r.o. signifikantní výpadek svých služeb. Tento výpadek bohužel odstavil některé naše služby až na dobu téměř 14 dnů. Vzhledem k tomu, že se o výpadku hodně psalo na různých portálech a v řadě médií, a vzhledem k faktu, že nás žádná redakce nepožádala o vyjádření nebo komentář, bychom rádi uvedli na pravou míru, co se stalo a jaké informace k útoku jako takovému máme. Chtěli bychom proto nyní popsat, jak celý incident probíhal a jaké dopady na provoz společnosti měl.
Těsně před osmou hodinou ranní v pondělí 14. 9. 2020 došlo k velmi závažnému kybernetickému incidentu, kdy útočník smazal data na klíčových prvcích infrastruktury, tedy veškeré systémové konfigurace a systémové zálohy. Dle provedené analýzy pohybu útočníka na serverech a z dosavadních šetření vyplývá, že byl útok veden s cílem spáchat maximum škod, útok se tak zdá být veden s cílem zlikvidovat naši společnost. Razanci, typ i samotné provedené útoku se naprosto vymyká čemukoli, s čím jsme se za dobu existence naší společnosti setkali, a rovněž s čím se setkali odborníci, se kterými jsme celý incident průběžně analyzovali a konzultovali. Útočník zašifroval některé nedůležité systémy formou Ransomware, nicméně z podstaty útoku o Ransomware nešlo, neboť s tím, jak byl útok spáchán nebylo ani za co výkupné zaplatit, neboť docházelo k přepisu a mazání dat.
Útok nám neomezil jen klientské služby, ale i naše interní systémy, což vedlo k nedostupnosti nejen naší zákaznické podpory, ale i nedostupnosti vedení společnosti, takže jsme se jako firma nemohli, pokud nám někdo nějaké dotazy zaslal, oficiálně k ničemu vyjádřit. Předpokládáme, že toto bylo i příčinou mnoha spekulací, které se v minulých dnech v různých článcích a diskuzích objevily. Rádi bychom ty nejzávažnější uvedli na pravou míru.
1) Únik Auth-info kódů (kódů pro převod domén)
K úniku Auth-info kódů nedošlo a ani dojít nemohlo, žádné Auth-info kódy nejsou totiž uloženy v našich databázích. Předpoklad, který k tomuto pravděpodobně vedl je fakt, že Auth-info kód je vidět v detailu domény v klientském rozhraní. Nicméně zde se jedná o dynamické načtení informace z registru, které probíhá až v momentě zobrazení detailu domény, a to aktuálním, nijak necachovaným dotazem na registr. Druhý krok, který mohl v určitých kruzích tuto domněnku potvrdit byla akce registru .CZ domény CZ.NIC, který preventivně všechny Auth-info kódy přegeneroval. Tuto preventivní opatrnost registru pochopitelně kvitujeme, avšak k žádnému incidentu v tomto směru nedošlo.
2) Ransomware z e-mailu zaměstnance
Ani tato spekulace není založena na pravdě a vzhledem k povaze našeho systému se nemohla stát. Aplikační vrstva, do které mají zaměstnanci přístup a která obsluhuje i příchozí poštu je totiž webová a zcela oddělena od serverové vrstvy a není zde tedy žádná možnost, jak by se přes interface dokázal útočník dostat na server.
3) Únik dat ze serveru
Vzhledem k datovému provozu a času, který útočník na serverech strávil, nic nenasvědčuje tomu, že by došlo k úniku klientských dat ze serveru. Datový provoz je nám přitom znám z informací od našich poskytovatelů konektivity, tedy zcela nezávislých prvků nacházejících se mimo naši infrastrukturu.
Délka přístupu útočníka na servery stejně jako rozsah spáchaných škod v čase je známá a k odpojení serverů z elektrické sítě došlo v co nejkratším čase po prvotní analýze toho co se stalo.
4) Skrytý trojský kůň na serverech
Ani tato spekulace se naštěstí nezakládá na pravdě, všechny servery byly obnovovány z externích záloh a DB fragmentů na čisté serverové instalace – všechny servery byly čistě reinstalovány, nedocházelo k žádné obnově původních systémů, a to ani tam, kde systém nebyl postižen. Obnova byla zároveň prováděna s cílem větší odolnosti celé infrastruktury, tak aby se vyloučilo opakování podobného útoku v budoucnosti.
Následky útoku na naši společnost byli značně devastující, útočníkovi se podařilo vyřadit veškerou infrastrukturu společnosti Gransy s.r.o. a všech návazných projektů, což vedlo k nedostupnosti veškerých služby našich koncových klientů.
„Pokud bych měl přirovnat útok k něčemu z reálného světa, tak bych zvolil jako příklad žháře, který vypálí výrobní linku, kanceláře, jídelnu, vozový park a sklady jedné společnosti, tedy vše, čím společnost disponuje.“
V průběhu útoku i průběžné komunikace jsme byli konfrontováni různými názory, z nichž bychom se chtěli vyjádřit především k jednomu – redundanci technologií. Paradoxně by pro nás požár datacentra, které by doslova “lehlo popelem” měl podstatně menší následky, než situace, která nastala. Naše infrastruktura byla a je rozložena mezi dvě geograficky vzdálená datacentra (Praha 3, Praha 10) v ČR a dvě datacentra v Německu vzdálená od sebe cca 200km.
Po zjištění rozsahu škod, jsme začali z různých dostupných artefaktů a off-line záloh stavět celou firmu od znova. Subreg.cz se nám podařilo postavit z nuly za 28 hodin a další služby následovali v rychlém sledu, celkem totiž bylo postiženo více než 60 serverů z nichž většina je nosná pro návazné služby, které jako celek představují to, čím naše společnost je.
Služby jsme obnovovali dle předem připraveného krizového plánu, prvně se tak obnovovaly služby s největším dopadem na klienty a až na konec naše interní služby. Nicméně tato obnova obsahuje i mnoho návazných služeb, které třeba nemají přímý dopad na klienta, nicméně jsou důležité pro chod klientských aplikací jako takových a tak podobně, proto se mohlo zdát, že se občas nic neděje a v komunikaci nám to bylo často vyčítáno, nicméně opak byl pravdou, po celou dobu se pracovalo téměř NON-STOP jen s přestávkami na kávu, jídlo a trochu čerstvého vzduchu, spánek byl pro nás téměř zapovězen. Jsou mezi námi jedinci, co naspali za posledních 14 dnů něco mezi 16-24 hodinami. Řada operací je také zatížena jejich trváním, které ani v sebelépe nastaveném plánu prostě nejde ovlivnit – typicky přenosy dat skládajících se z velmi malých souborů, kdy jde prostě o technické omezení, které není překonatelné ani u nás, ani nikde jinde.
Někdy má však i sebelepší plán trhlinu, u nás se tak ukázala být největší trhlinou komunikace. Například infrastruktura zákaznického centra naší společnosti se podařila zcela obnovit až nyní a komunikační plán B bohužel neexistoval. Hlavním komunikačním kanálem se tak stal náš Facebook, který se pro krizovou komunikaci ukázal zcela nevhodný. Vzhledem k množství dotazů, které se různě množili v komentářích a frekvenci dotazů, která přicházela formou zpráv, nebylo bohužel v možnostech našeho supportu včas a kvalitně odpovídat. Obecně je nutno konstatovat, že poskytnout relevantní odpověď okamžitě v daném okamžiku při rozsáhlejším výpadku prostě není možné, jakkoli chápeme zákazníka tuto odpověď právě vyžadující – stejně tak jsou okamžiky, kdy prostě neexistuje odpověď na otázky typu “kdy přesně to pojede” – jednoduše proto, že nelze předvídat doběhnutí konkrétní operace či stav navazujících služeb. Personálně jsme pak celou akci koordinovali tak, abychom byli k dispozici v podstatě nonstop, pokud jde o realizaci obnovy, tedy aby nenastávaly jakékoli prostoje.
Celá nastalá situace, je pro nás něčím zcela novým, nikdo z nás se s ní za celá léta, co v oboru pracujeme nesetkal a plynou z ní pro nás dvě ponaučení.
Prvně budeme pracovat na krizové komunikaci a vytvoření zcela nezávislého komunikačního systému s našimi zákazníky, který by dokázal v případě nečekané události zcela zastoupit primární komunikační kanály.
Naší hlavní prioritou je, aby tuto komunikaci již nikdy v budoucnu nemusela suplovat sociální síť a informace se snadněji donesly snadno i k zákazníkům, kteří sociální sítě nepoužívají.
Za druhé, zásadně změníme strukturu zabezpečení naší infrastruktury, aby se podobný incident již nemohl opakovat, kdy o konkrétních opatřeních, která připravujeme, budeme informovat samostatně – pracujeme na nich v součinnosti s odborníky na předmětnou oblast s cílem zvážit a simulovat i rizika, která jsou obtížně předvídatelná, či jsme se s nimi nemohli setkat.
Chtěli bychom všem zákazníkům poděkovat především za trpělivost a důvěru.
Martin Dlouhý
COO Gransy s.r.o.