Gdy padły systemy elektrowni zasilającej rafinerię gazu ziemnego w USA, wszyscy wpadli w panikę. Brak prądu przez więcej niż kilka godzin oznaczał konieczność zatrzymania całej instalacji i straty przekraczające milion dolarów na godzinę.
Na Reddicie trafiają się czasem niezwykłe perełki – tym razem jest to relacja inżyniera sieci, który został wezwany do usunięcia poważnej awarii o nieznanych przyczynach. Rzadko trafiają się tak ciekawe historie z pierwszej ręki.
Sieć padła, dzwonimy po inżyniera
Problem zgłosiła ogromna rafineria gazu ziemnego w południowym Teksasie. Instalacja położona jest w regionie w którym brak wystarczających zasobów energii elektrycznej, więc by zapewnić sprawne jej działanie obok rafinerii powstała elektrownia o szczytowej mocy ponad 40 MW, również zasilana gazem ziemnym. Problem dotyczył właśnie elektrowni, a konkretnie jej sieci, która według zgłaszających padła.
Rafineria gazu ziemnego
Problem był poważny, ponieważ rafineria może działać bez wsparcia elektrowni jedynie przez kilka godzin – potem trzeba ją zatrzymać, co generuje ogromne straty. W momencie, gdy nasz bohater odebrał telefon, do zatrzymania rafinerii brakowało 6 godzin. Anonimowy bohater odebrał telefon, ponieważ to on konfigurował sieć w tej właśnie elektrowni.
Sieć nie była narażona na awarie. Odseparowana od świata, wyposażona jedynie w switche i okablowanie, łączyła wszystkie sterowniki przemysłowe, mierniki i inne elementy niezbędne do sterowania elektrownią. Gdy nasz bohater poinstruował pracownika na miejscu jak przeprowadzić proste testy typu ping, zorientował się, że sieć działa, a problem musi leżeć gdzie indziej. Poprosił zatem o zdalny dostęp przez specjalnie w tym celu wpiętego do sieci laptopa.
Baza jest, ale nie działa
Nasz bohater zalogował się na początku do konsoli systemu elektrowni i od razu znalazł znany wielu administratorom komunikat o treści Network Error: Cannot connect to database. Wiedział już też, że jego pierwsza część nie jest prawdziwa. Serwer bazodanowy z Windows Server 2012 i MSSQL działał, jednak proces SQL był wyłączony i próba jego uruchomienia kończyła się natychmiastowym zamknięciem. Powodowało to brak łączności z miernikami i sterownikami, a procedury bezpieczeństwa automatycznie wyłączały w takim wypadku turbiny.
Nasz bohater skontaktował się z dostawcą systemu sterowników przemysłowych jednak dowiedział się od niego, że konfiguracją serwera SQL zajmował się jeszcze inny podwykonawca, który jest akurat na urlopie. Do zamknięcia rafinerii pozostały 4 godziny, zatem zawzięty inżynier postanowił grzebać dalej samemu.
Niespodzianka
To, co znalazł w logach, jest godne utrwalenia w annałach klasyki wdrożeń. Był to komunikat o treści Invalid license data. Reinstall is required. Tak. Wdrożeniowcy bazy danych zapomnieli wgrać klucze licencyjne, przez co baza działała w trybie próbnym (trial) i po 180 dniach po prostu odmówiła dalszej współpracy.
Nasz bohater wspólnie z przypartym do muru dostawcą systemów sterowników wykonali następujące operacje:
- podszycie się pod prezesa rafinerii, na którego wdrożeniowcy z nieznanych przyczyn zarejestrowali konto w systemie Microsoftu
- zorientowanie się, że nie można otrzymać po prostu pliku licencji, tylko trzeba kupić dysk instalacyjny
- zorientowanie się, że wdrożeniowcy kupili dysk instalacyjny, tylko zainstalowali bazę korzystając z kopii próbnej (trial)
- pobranie dysku instalacyjnego
- wyodrębnienie pliku licencji
- wgranie pliku licencji bez potrzeby reinstalowania całego serwera (dzięki nieocenionym wskazówkom z Google)
- zrestartowanie serwera i obserwowanie w rytm żarliwych modlitw jak sterowniki a po nich turbiny wracają do życia na pół godziny przed momentem w którym trzeba będzie zatrzymać rafinerię.
Inżynierowi gratulujemy wytrwałości, wdrożeniowcom gratulujemy kompetencji. Jak mówią na Reddicie, jedynym zaskoczeniem w tej historii jest fakt, że jednak kupili licencję.
Z podziękowaniami dla @szescstopni za wskazanie wpisu na Reddicie
Komentarze
I jak tu nie walczyc z piractwem
Wdrozeniowcow za jaja i do zamiatania podlog…
Niebezpiecznik był szybszy ;)
Rzadki wyjątek od reguły…
Ejj ten sam art jest na n…ku. W sumie i tak kopiujecie z redita, ale tak z ciekawosci. To czemu walkujecie takie same tematy?
Kiedyś nie pisaliśmy jak było na Niebezpieczniku, ale wielu czytelników mówiło, że nie zaglądają na Niebezpiecznika, więc staramy się w miarę możliwości pisać o wszystkim, co uznajemy za ciekawe.
Dobre podejście, odkąd tam czytać przestałem tu znajduję dobre źródło ciekawych informacji.
Adamie. Piszcie, piszcie.
Nie każdemu chce się włazić na trollecznika i inne tym bardziej, że u Was artykuły są dużo częściej i są ciekawsze już nie mówiąc o liście linków na weekend.
Trollecznik ostatnio po słabym PRowaniu ostro spał, zamiast pisać, a u Was 4 dobre(!) arty w tym czasie poszły.
No i przynajmniej u Was nie ma tego zrytego i wiecznie chełpiącego się stylu oraz tendencyjnych komentarzy.
To teraz wejdź jeszcze raz i popatrz, ile tematów trollecznik podebrał, i z iloma się spóźnił…
a nie lepiej było postawić to na mysql zamiast na mssql :P
Tylko NOSQL. Legia to stara …
Jak widać jakiś (przy)głup postawił rozwiązanie na komercyjnym Windowsie. A trzeba było na Oracle :)
Ta… Oracle jest dobry tylko w jednym – dojeniu kasy.
Zastanawiam się dlaczego firmy są tak głupie i pchają się w komercyjne gó..a ? Kolego Wer lepiej sprawdź ceny produktów Orala… hehehe
Pisze się m$sql
OFFTOPIC: nurtuje mnie ta kwestia od dłuższego czasu -> dlaczego niebezpiecznik wygląda jakby ktoś się na niego włamał i usunął szablon WP ? Białe tło, rozsypany CSS ? Czy to taki celowa „kreacja” ?
A nie na klikałeś czasem za wiele a adblocku kolego ? :D
Oni mają taki styl na stronę mobilną ustawiony.
Fejsbukowa przeglądarka nie obsługuje //niebezpiecznik.pl/styles[…] etc. :)
Lubię awarie z krótkim deadline-m
Znam ciekawy przypadek z akceleratora. Nie można było normalnie puści wiązki, bo ktos zostawił (albo specjalnie włożył) kawałek folii aluminiowej. Nie można tez rozłożyć tunelu przez dlugi czas (harmonogram nie pozwalał). Po kilku tygodniach prób udalo sie wytyczyć trajektorię wiązki ktoś nie kolidowała ze śmieciem.
Lol. Widze ze koleś który wam podał temat rozkleił go wszedzie gdzie mógł a wy jak baranki powielacie, tak jak by inni nie umieli sami znaleść wątku, takich akcji są dziesiątki dziennie
Podeślij kilka z tych dziesiątków, chętnie napiszemy.
Może ciężko Ci będzie w to uwierzyć, ale mam co robić ze swoim czasem ;) W ramach porannej/wieczornej wolnej chwili przeglądam blogi pokrywające się z moimi zainteresowaniami, ale nie mam czasu na wertowanie całego internetu.
Ja też nie mam czasu, ale dzisiaj już przewertowałem cały internet.
Kluczyk tu, kluczyk tam… i na wakacje bedzie komplet… :D
Brakowało jedynie zapisu wdrożeniowca mówiącego „o pany, a kto wam to tu tak sp#####ł” :D.
–
A hejterzy niech sobie hejty i trollecznika w turbinę wsadzą :D
Artykul ciekawy, ale najbardziej mnie powalily komentarze pod nim.
Czy wszyscy juz tak bardzo przeszli do zaakceptowania stanu obecnego, ze nie zaskoczyly ich nastepujace fakty:
a) podszycie sie pod prezesa rafinerii (przestepstwo kradziezy tozsamosci),
b) kompletny brak procesu zarzadzania licencjami w tej elektrowni, brak zgodnosci z regulacjami NIST, nie stosowanie lub brak ITIL-a,
c) brak testow BCP i realnych jego scenariuszy (lub testowanie najbardziej oczywistych),
Na koniec pytanie: Kto z czytajacych tutaj administratorow nie weryfikuje konfiguracji i wdrozenia outsourcowanego?
ps
wiem ze life is brutal and full of zasadzkas ale nie ma sie co obrazac na zarzad, ze biora outsourcera do wdrozenia w ramach „decyzji biznesowej”
> Czy wszyscy juz tak bardzo przeszli do zaakceptowania stanu obecnego, ze nie zaskoczyly ich nastepujace fakty:
To się nie mieści w głowie, że gdzieś poza Polska może tak być, i takie informacje po prostu nie są przyjmowane do wiadomości.
Czyta się jak jakiś horror. ;-)