Jak mBank przetestował dzisiaj dużo więcej, niż zaplanował

dodał 5 sierpnia 2020 o 18:08 w kategorii Wpadki  z tagami:
Jak mBank przetestował dzisiaj dużo więcej, niż zaplanował

Testy to ważna sprawa. Ważne, by przetestować dokładnie oprogramowanie, z którego będą korzystali klienci. Ważne, by testować regularnie i wszystkie istotne scenariusze. Ważne także, by nie przeprowadzać testów na produkcji.

Dzisiaj około godziny 15:16 telefony tysięcy (jak nie milionów) Polek i Polaków zabrzęczały jednym głosem. To mBank wysłał komunikat, a nawet trzy. Niestety były to komunikaty testowe, które sobie tylko znanym sposobem wyrwały się z okowów środowiska testowego i wylądowały w produkcyjnym. Przyjrzyjmy się temu incydentowi.

ęśąćż

Komunikaty były dość lakoniczne. Wyglądały tak (jeśli jeszcze nie widzieliście):

Komunikaty mBanku

Jeśli zastanawiacie się, co kryje się pod znaczkami ze środkowego komunikatu, to najwyraźniej ktoś próbował sprawdzić przetwarzanie znaków ASCII w kodowaniu HTML Entity – numerek 58 to dwukropek, a 48 to zamknięcie nawiasu – czyli łącznie popularny uśmieszek :)

Testy najwyraźniej dotyczyły między innymi kodowania znaków – stąd zestaw kilku polskich znaków w jednej z wiadomości (przy okazji – kilku brakuje, test niekompletny!).

Jakie są skutki takiego testu

Wyobraźcie sobie, że jesteście klientami mBanku. Dostajecie niezrozumiały komunikat. Klikacie sprawdzić, czy nic nie zniknęło z konta.

A teraz wyobraźcie sobie, że jesteście serwerem mBanku. Dostajecie naraz kliknięcia tysięcy, jak nie setek tysięcy, klientów banku. Klękacie, by sprawdzić, czy w tej pozycji udźwigniecie ruch. Efekt?

Serwer przestał odpowiadać

Oczywiście osób sprawdzających, dlaczego serwer przestał odpowiadać, też jest niemało. Tak to wyglądało w serwisie Downdetector.pl.

Przez pierwsze kilkanaście minut były poważne problemy z otwieraniem strony banku i działaniem aplikacji mobilnej. W ten sposób mBank przetestował nie tylko wyświetlanie komunikatów, ale także skalowanie infrastruktury – choć oba testy były, przynajmniej w tej skali, niezamierzone.

Warto także zauważyć, że chyba nigdy żaden bank nie otrzymał w ciągu kwadransa tylu zrzutów ekranu swoich komunikatów – przynajmniej wiedzą teraz, jak się wyświetlają u setek klientów.

Co jeszcze zadziałało

Zaprawiony w bojach dział odpowiedzialny za komunikację kryzysową reagował naprawdę ekspresowo. Nasze pytanie do rzecznika banku doczekało się odpowiedzi w 4 minuty – to nieoficjalny rekord w kategorii „odpowiedź merytoryczna” (nie liczymy odpowiedzi w stylu „jutro odpowiemy”):

Był to błąd, za który przepraszamy.

Wysłaliśmy do klientów powiadomienia przygotowane jako testowe. Przekazanie ich do wszystkich użytkowników spowodowało zwiększoną liczbę logowań do serwisów banków, które w efekcie zwolniły.

Systemy bankowe jednak działają, a my raz jeszcze przepraszamy za ten błąd.

Dział komunikacji próbował też ratować serwery banku:

Prośba o nieklikanie

To chyba pierwszy raz w historii, gdy bank prosił klientów o to, by nie klikali w otrzymane od niego komunikaty.

Co ze sprawcą zamieszania?

Nie znamy losu autorów trzech powiadomień, którym udało się przekazać je do systemu produkcyjnego. Piszemy w liczbie mnogiej, ponieważ mBank to poważna instytucja finansowa, dbająca o unikanie wpadek, więc jesteśmy przekonani, że jedna osoba nie może wypuścić powiadomienia do wszystkich klientów bez przynajmniej drugiego etapu zatwierdzania. Mimo to procedura nie zadziałała. Czy czas dodać trzeci poziom akceptacji? Bez wątpienia stanowić to będzie ostatnią część raportu poincydentalnego, w sekcji o tytule „Rekomendacje”. Jako że mamy nadzieję, że ten artykuł przeczytają także mBankowi decydenci, apelujemy – nie zwalniajcie sprawców z pracy. Jesteśmy przekonani, że od dzisiaj nikt nie będzie skrupulatniej weryfikował wysyłanych komunikatów i środowisk, do których trafiają. Może nawet posadzić ich jako trzeci etap zatwierdzania?

Memy i komentarze

W sieci pojawiły się oczywiście celne komentarze i okolicznościowe memy – w końcu za kilka lat będziemy mogli każdego klienta mBanku zapytać „a co robiłeś, gdy przyszły Trzy Powiadomienia?”.

Źródło: FakesForge

Nie zabrakło nawiązania do klasyki historycznej:

Źródło: Wykop

Komentarz klasyczny:

Wszystkie firmy mają środowiska testowe. Niektóre mają także luksus posiadania środowisk produkcyjnych.

Komentarz empatyczny:

To uczucie, gdy klikasz „send” i w całym biurze rozlega się dźwięk powiadomień.

Powyższy przykład dołączamy do naszego szkolenia dla administratorów. Jeśli chcecie przeszkolić swoje działy IT, to mamy dla nich kilka godzin historii o tym, dlaczego powinni uważać na używane hasła, procedury zarządzania zmianą, kopie bezpieczeństwa, zarządzanie dostępem i konfigurację usług i aplikacji. A wszystko poparte setkami prawdziwych przykładów – z powyższym włącznie. Wystarczy odezwać się do nas i umówić na wykład – zdalny lub lokalny.