Jak prosty błąd wdrożeniowca mógł wyłączyć rafinerię i spowodować milionowe straty

dodał 22 lipca 2015 o 10:19 w kategorii Błędy, Wpadki  z tagami: • • • •
Jak prosty błąd wdrożeniowca mógł wyłączyć rafinerię i spowodować milionowe straty

(źródło: takacsi75)

Gdy padły systemy elektrowni zasilającej rafinerię gazu ziemnego w USA, wszyscy wpadli w panikę. Brak prądu przez więcej niż kilka godzin oznaczał konieczność zatrzymania całej instalacji i straty przekraczające milion dolarów na godzinę.

Na Reddicie trafiają się czasem niezwykłe perełki – tym razem jest to relacja inżyniera sieci, który został wezwany do usunięcia poważnej awarii o nieznanych przyczynach. Rzadko trafiają się tak ciekawe historie z pierwszej ręki.

Sieć padła, dzwonimy po inżyniera

Problem zgłosiła ogromna rafineria gazu ziemnego w południowym Teksasie. Instalacja położona jest w regionie w którym brak wystarczających zasobów energii elektrycznej, więc by zapewnić sprawne jej działanie obok rafinerii powstała elektrownia o szczytowej mocy ponad 40 MW, również zasilana gazem ziemnym. Problem dotyczył właśnie elektrowni, a konkretnie jej sieci, która według zgłaszających padła.

Rafineria gazu ziemnego

Rafineria gazu ziemnego

Problem był poważny, ponieważ rafineria może działać bez wsparcia elektrowni jedynie przez kilka godzin – potem trzeba ją zatrzymać, co generuje ogromne straty. W momencie, gdy nasz bohater odebrał telefon, do zatrzymania rafinerii brakowało 6 godzin. Anonimowy bohater odebrał telefon, ponieważ to on konfigurował sieć w tej właśnie elektrowni.

Sieć nie była narażona na awarie. Odseparowana od świata, wyposażona jedynie w switche i okablowanie, łączyła wszystkie sterowniki przemysłowe, mierniki i inne elementy niezbędne do sterowania elektrownią. Gdy nasz bohater poinstruował pracownika na miejscu jak przeprowadzić proste testy typu ping, zorientował się, że sieć działa, a problem musi leżeć gdzie indziej. Poprosił zatem o zdalny dostęp przez specjalnie w tym celu wpiętego do sieci laptopa.

Baza jest, ale nie działa

Nasz bohater zalogował się na początku do konsoli systemu elektrowni i od razu znalazł znany wielu administratorom komunikat o treści Network Error: Cannot connect to database. Wiedział już też, że jego pierwsza część nie jest prawdziwa. Serwer bazodanowy z Windows Server 2012 i MSSQL działał, jednak proces SQL był wyłączony i próba jego uruchomienia kończyła się natychmiastowym zamknięciem. Powodowało to brak łączności z miernikami i sterownikami, a procedury bezpieczeństwa automatycznie wyłączały w takim wypadku turbiny.

Nasz bohater skontaktował się z dostawcą systemu sterowników przemysłowych jednak dowiedział się od niego, że konfiguracją serwera SQL zajmował się jeszcze inny podwykonawca, który jest akurat na urlopie. Do zamknięcia rafinerii pozostały 4 godziny, zatem zawzięty inżynier postanowił grzebać dalej samemu.

Niespodzianka

To, co znalazł w logach, jest godne utrwalenia w annałach klasyki wdrożeń. Był to komunikat o treści Invalid license data. Reinstall is required. Tak. Wdrożeniowcy bazy danych zapomnieli wgrać klucze licencyjne, przez co baza działała w trybie próbnym (trial) i po 180 dniach po prostu odmówiła dalszej współpracy.

Nasz bohater wspólnie z przypartym do muru dostawcą systemów sterowników wykonali następujące operacje:

  • podszycie się pod prezesa rafinerii, na którego wdrożeniowcy z nieznanych przyczyn zarejestrowali konto w systemie Microsoftu
  • zorientowanie się, że nie można otrzymać po prostu pliku licencji, tylko trzeba kupić dysk instalacyjny
  • zorientowanie się, że wdrożeniowcy kupili dysk instalacyjny, tylko zainstalowali bazę korzystając z kopii próbnej (trial)
  • pobranie dysku instalacyjnego
  • wyodrębnienie pliku licencji
  • wgranie pliku licencji bez potrzeby reinstalowania całego serwera (dzięki nieocenionym wskazówkom z Google)
  • zrestartowanie serwera i obserwowanie w rytm żarliwych modlitw jak sterowniki a po nich turbiny wracają do życia na pół godziny przed momentem w którym trzeba będzie zatrzymać rafinerię.

Inżynierowi gratulujemy wytrwałości, wdrożeniowcom gratulujemy kompetencji. Jak mówią na Reddicie, jedynym zaskoczeniem w tej historii jest fakt, że jednak kupili licencję.

Z podziękowaniami dla @szescstopni za wskazanie wpisu na Reddicie

Podobne wpisy