Dzisiaj około południa problemy z dostępem do usług zaczęli zgłaszać klienci co najmniej pięciu dużych banków naraz. Pekao S.A., Millennium, ING, Alior i BGŻ prawie jednocześnie ogłosiły problemy ze swoją infrastrukturą. Co było przyczyną awarii?
Gdy naraz przestają być dostępne usługi kilku dużych banków, wiele osób węszy sensację, a być może nawet celowe działanie bliżej nieokreślonych sił. Tymczasem wszystko wskazuje na to, że u podstaw fali awarii leżały słabości infrastrukturalne i zbieg okoliczności.
10 grudnia, poniedziałek
Systemy pięciu wcześniej wymienionych banków szwankować zaczęły około godziny 12-13. Kilka godzin zajął im powrót do normalności. W tym czasie klienci doświadczali problemów z logowaniem, niektóre funkcje znikały, aplikacje odmawiały współpracy, a poziom stresu klientów rósł. Problem wyglądał na poważny. Choć tego rodzaju zdarzenia nikogo nie dziwią w przypadku jednego czy dwóch banków, to udział pięciu dużych podmiotów naraz mógł budzić zdziwienie. Co więcej, oprócz dużych banków problemów doświadczyły dzisiaj także Eurobank, Santander Consumer oraz Idea Bank.
Aktualizacja: Mimo wskazań z serwisu DownDetector zebrane przez nas dodatkowe informacje wskazują, że Santander Consumer Bank (który nie jest tym samym podmiotem co Santander Bank Polska, dawniej BZ WBK) nie był dotknięty tego dnia problemami technicznymi.
Źródło: downdetector.pl
Postanowiliśmy ustalić przyczyny awarii i choć każdy opowiadał inne historie, to układały się one w jeden spójny obraz. Rozmawialiśmy zarówno z przedstawicielami banków, jak i ZBP. Zebraliśmy przy tym taki katalog wydarzeń, które doprowadziły do awarii:
- Bo idą święta, a wraz z nimi zakupy internetowe – wolumen transakcji bankowych znacznie w tych dniach rośnie. Na dokładkę Poczta Polska od rana nawoływała, że poniedziałek to ostatni dzień na zrobienie zakupów, by otrzymać je przed świętami.
- Bo poniedziałek, kiedy rośnie wolumen transakcji bankowych, w tym także tych, które nie były rozliczane w trakcie weekendu.
- Bo 10, kiedy wszyscy płacą ZUS.
- Bo 10, kiedy wiele zakładów pracy wypłaca pensje i ludzie sprawdzają, czy już dotarła. Tym bardziej, że patrz pkt. 1.
Dobra i zła wiadomość
Mamy zatem dobrą wiadomość – wszystko wskazuje na to, że nie było żadnego ataku na polskie banki. Mamy też złą wiadomość – zbieg kilku naturalnych czynników, całkowicie przewidywalny i regularnie spotykany, położył różne elementy infrastruktury kilku bardzo dużych banków. Te „niespodziewane” testy obciążeniowe pozwoliły wykryć wąskie gardła infrastruktury w kilku bankach. Usłyszeliśmy historie o niewystarczającym poziomie usług podmiotu zewnętrznego, obsługującego kluczowy proces bankowy, o niewydajnym elemencie infrastruktury wspierającym aplikację mobilną czy problemach z wydajnością mechanizmów bazodanowych. Co bank to inna historia – w niektórych nadal jeszcze szukają przyczyn problemów. Ruch klientów i inne anomalie, z którymi musiały sobie dzisiaj poradzić, wynosił od kilkudziesięciu do kilkuset procent zwykłego poziomu obciążenia.
Bankom, które podołały zbiegowi okoliczności, pozostaje pogratulować przygotowania. Bankom, które nie podołały, gratulujemy owocnych wyników testów obciążeniowych.
Komentarze
Jeśli nie da się zapisać w bazie danych banku np. 700 przelewów/s to należy zmniejszyć prędkość.
3 sesje eliksir na cały dzień, a piszą o wąskim gardle.
To jest wytłumaczenie dla 10 latka z republiki ziemniaczanej, a nie dla kumatych ludzi.
Elixir miał znaczenie kilka lat temu, zanim rozpowszechniły się systemy jak PayU, DotPay, przelewy24 itd. Teraz duża część przelewów jest wewnątrzbankowa i klienci spodziewają się realizacji w przeciągu minut.
Mimo że przelewam dziesiątki razy w ciągu miesiąca nie przypominam sobie aby przelew pomiedzy róznymi bankami przechodził szybciej niż przez sesje elixiru, pewno przeoczyłem. Najzwyczajniej w świecie to dziadostwo z elixirem jest wszystkim poza klientami na rękę bo można osobno kasowac za „szybkie przelewy”. Do tego stopnia że kiedyś tępa panienka z okienka rozesmiała mi się w twarz kiedy zapytałem jak zrobić w piątek przelew szybciej aby kasa zdążyła przed poniedziałkeim. Dowiedziałem się że w weekendy przecież banki nie pracują więc czego ja wymagam. Z takim podejściem pozostaje poczekać aż obecne pokolenie decycentów bankowych zostanie zakopane aby jakiekolwiek zmiany mogły pójść dalej niż przez zwiększanie sesji elixiru (też ponoć nie do pomyslenia w/g jednego z informatyków bankowych). Bardzo smutne czasy nastały, kiedy są narzedzia, jest potrzeba ale tępactwo to samo co zawsze.
Przelewy między bankami przechodzą tak samo jak zawsze*. Cały dowcip polega na tym że jeśli korzystasz z PayU, DotPAY czy innego pośrednika to nie wykonujesz przelewu międzybankowego. Ty dokonujesz przelewu w ramach własnego banku – takie przelewy najczęściej są księgowane w przeciągu góra 5 minut, po czym pośrednik po upewnieniu się że środki do niego dotarły przelewa środki faktycznemu odbiorcy – z konta w tym samym banku w którym konto ma odbiorca. Wobec tego zamiast jedego przelewu międzybankowego mamy 2 przelewy wewnątrzbankowe.
*chyba że korzystasz z przelewu na telefon systemem BLIK – nie wiem jakie rozwiązanie jest stosowane w tym wypadku
Ja mówie jak działają banki. DotPay, payU to tylko workaroundy na beton w głowach decydentów w bankach, nie istniały by gdyby banki nie uzywały elixiru. Podobnie jest na całym świecie z przelewami międzybankowymi, „nikomu” nie jest na rękę zrobienie tego lepiej choć to trywialne. Przecietny suweren nie jest w stanie uzyc PayU do transferu pieniędzy między kontami w dwóch bankach, musi czekać dobę kiedy jego pieniądze nie zarabiają co jest bardzo na rękę „wszystkim”. A klienta zawsze można kopnąc w tyłek, przecież za chwile i tak nie będzie miał wyjścia.
Chyba jednak nie wiesz jak działają systemy typu PayU, czyli nie do końca wiesz o czym pisał Tchórz Anonim.
w dobrych bankach są przelewy w kilka sekund zwane ExpressElixir
Chciałbym tylko zauważyć, że w transakcjach rozproszonych, czyli m.in. międzybankowych potrzebny jest pośrednik – inaczej zwany koordynatorem. Bez protokołu potwierdzania transakcji co najmniej dwufazowego, np. 2PC transakcje rozproszone w razie awarii mogą „się rozsypać”.
słyszałeś o kolejkowaniu ?
nie wierzyłbym w ani jedno słowo z ust przedstawicieli banków, pamiętacie jak kręcili podczas włamania Polsilvera do Plusbanku, a potem Korei Północnej do KNF?
zrobią wszystko żeby nie wybuchła panika bo wtedy wszyscy leżą
Wtedy przekazaliśmy Wam prawdę – bolesną dla banków. Tym razem też przekazujemy Wam prawdę i też nie jest różowo ;)
tylko czy oni wam mówią prawdę ;)
Jestem dziennikarzem, który porównuje i ocenia informacje płynące z wielu źródeł, zarówno wewnątrz i jak spoza organizacji bohaterów artykułu. Jeśli nie jestem przekonany, że coś jest prawdą, to nie publikuję :)
Myślałem że jesteś przede wszystkim bezpiecznikiem.
A tu proszę, okazuje się że jesteś dziennikarzem.
Odpowiedź jest prosta – Banki które przeżyły 'czarny poniedziałek’ posiadają systemy backendowe postawione na platformie Mainframe i systemie z/Os, którą wszyscy znaffcy uznają za relikt przeszłości, a która potrafi się dowolnie skalować i inteligentnie sterować obciążeniem. A reszta pseudo-banków ma wolumen klientów 10x mniejszy i systemy na Hibernate i różnych Javovych cudach – i oto mamy efekty
Pekao SA i ING są na mainframe’ach i nic to im nie dało.
ING ma backend na as/400 a to nie mainframe
Z ogłoszenia Millenium na pracuju wynika że siedzą na Mainfrejmach
Na pewno na mainframach? A nie na asach? Też IBM…
Co da mainframe jak sieć nie wyrobi? Jestem laikiem.
@adam
Serio ? Trzymanie kluczowego biznesu na niewspieranym sprzęcie to dowód odpowiedzialności ? :D
Do autora, warto odrobić lekcje przed przystąpieniem do pisania. Santander to mały bank :) 3-4 gracz w PL po połączeniu Santander z BZWBK i Deutsche.
Warto czytać ze zrozumieniem. Autor pisał o Santander Consumer Bank.
Autor artykułu się nie pomylił.
W Polsce działają 2 banki o podobnej nazwie – Santander Bank Polska (dawniej BZ WBK) oraz Santander Consumer Bank o którym była w artykule mowa. Pomimo że właściciel ten sam licencje Bankowe, SWIFT inny.
Łukasz proponuję żebyś sam odrobił lekcje. Santander i Santander Consumer Bank to dwa zupełnie różne banki
https://bezprawnik.pl/santander-bank-polska-i-santander-consumer-bank/
Vice versa.
Santander Consumer to inny (mały) bank niż 3 w Polsce Santander Bank.
Santander z niczym się nie łączył, BZWBK przemianowano na Santander Bank Polska, który przejął część DB.
Na stronie ing chrome grzało komunikatem ERR_SSL_VERSION_INTERFERENCE, po 14 przeczytałem o problemach banków. Może to jest jakiś punkt wspólny?
A nie zauważyliście, że wszystkie te banki informatycznie obsługuje pewna firma na C.??
Czyżby tej samej co to głosi tezy w stylu „każdego programistę da się zastąpić skończoną liczbą studentów”…
ale pewnie takie podejście nie ma nic wspólnego ;D
A o możliwościach Pekao to możecie sobie poczytać tutaj (są uszyte na miarę 2008 roku) – https://www.wprost.pl/biznes/10047924/pekao-zada-od-spolki-comarchu-100-mln-zl-odpowiedz-moze-skompromitowac-bank.html
zbieg okoliczności? :) A co to takiego. NIe am czegos takiego w swiecie IT.rozumie ze to przenosnia „grzecznosciowa” Z3s.A tak z drugiej strony problem byl i jest zupelnei gdzie indziej.Ale z racji bankowych procedur podano sieczke informacyjna
Ale jaja, gdyby nie Z3S nawet nie wziąłbym tego wariantu pod uwagę (niezadowolony klient Idea Bank, który ma sporo błędów i Santander, do którego nie da się nawet zalogować po przejęciu konta z Deutsche Bank). Wróciłem póki co do Inteligo. Prosty interface, działa jak należy.
Adam, zdaje sie ze trafiles.
Co prawda MF’y sa dosc drogie, jednak ich skalowalnosc, bezpieczenstwo i stabilnosc sa ciezkie do odwzorowania w swiecie x86, tym bardziej dzikim i uposledzonym cloudowym i javovym swiecie, widac to raz po raz po usulgach stojacych (lub bardziej powinienem powiedziec bujajacych sie) w chmurach, hadupach, kubernejtsach, javach i innych podobnych go…ch.
Warto zauwazyc jakie stabilne sa np. szwajcarskie banki, one stoja tylko na MF (z tego co mi wiadomo), i ich stabilnosc i dostepnosc jest bezkonkurencyjna, jak rowniez bezpieczenstwo, od MF rowniez zalezy nasze bezpieczenstwo na swiecie (ze np nie dostaniemy glowica nuklearna w czolo, bez wyraznego powodu).
@entees
Dobrze wdrożona chmura od dobrego dostawcy będzie dużo bardziej skalowalna niż Mainframe, ale co do reszty – i zasady – masz rację.
Co do głowic – raczysz żartować :D Owszem Whrilwind to niby pierwszy mainframe, ale systemy akurat zarządzające rakietami są… niewiele nowsze.
Dziwnym trafem 3 grudnia w podobny sposób padło PKO/Inteligo. Strona niby się ładowała ale nie szło się zalogować, co więcej nie mogli tego zrobić również konsultanci na infolinii. O tym oczywiście bank nigdzie nie poinformował żadnym komunikatem, ani w trakcie, ani po. Klienci jacy zorientowali się, że coś jest nie tak zaczęli dzwonić na infolinię, kompletnie ją przeciążając (odrzucało połączenia).
Na bezprawniku padła sugestia, że to może być cyrylicą pisane.
Dajcie spokój. Pracowałem w 5 różnych bankach i to nie zOS czy MF to trzymają. W banku na infrastrukturę wydaje się MINIMALNE kwoty i w dodatku zawsze próbuje się „upchnąć” jak najwięcej na jednym serwerze aplikacyjnym, gdzie o wydajności DB już nawet nie chcę wspominać. Potem wystarczy, że przychodzi 10 (albo 21-24 grudnia) i nagle widać takie „piki” o których „ynteligentny” architekt mówił: „To się nie wydarzy! To tylko TEORETYCZNE założenia, więc możemy zmniejszyć o połowę zasoby!” Projekt się wdraża, biznes happy, IT happy, a na koniec i tak PR się tłumaczy: „To już ostatni raz taka awaria!” :)
1. W weekend trwały wdrożenia w wielu Bankach (po końcu miesiąca, jeszcze przed świętami) – a że zmian tych ostatnio jest dużo to jakość testów nie powala.
2. Banki chcą się nazywać firmami technologicznymi, ale ze stawkami z oddziałów dla IT – dlatego spora część łebskich osób pali wrotki jak tylko złapie jako takie doświadczenie w technologii.
3. Brak dostępu do bankowości elektronicznej dla klienta niekoniecznie wiąże się z problemami na mainframe – zanim jego działania dotrą to komunikaty przechodzą przez n różnych systemów, samo zalogowanie do bankowości woła kilkanaście innych, a to wewnętrzna poczta, a to oferta personalizowana, waluty itp itd.
4. Często jest tak, że leci jak domino – architekci IT to jakiś wymarły gatunek, a lepiony na prędkości soft na produkcji wygrzewa się miesiącami.
Trafiles w sedno sprawy. Wlasnie ci architekci umia duzo gadac, ale nic konkretnie. Ladne grafy, buzz-words. W praktyce rozwiazanie jest zawsze delikatnie mowiac „dziwne”.
@Jakub
Cóż, Sebastian napisał raczej, że systemy tworzone bez architekta IT lecą jak domino.
Trudno jest o dobrego architekta systemów, biorącego pod uwagę realizm produkcji, ale zdarzają się i warto szukać.
Tacy o jakich piszesz natomiast, to podszywające się cieniasy ;)
Czy taka awaria nie jest czasem traktowana jako utrata dostępności?
Czy to nie jest incydent poważny w rozumieniu ustawy o krajowym systemie cyberbezp. ?
Pewnie wszystkie banki zgłosiły zdarzenie do właściwego CSIRT.
Ciekaw jestem jak to się ma do naruszenia z art. 33 RODO.
Czy na pewno takie „zdarzenie” ma małe ryzyko naruszenia praw lub wolności osób fizycznych?
prawa i wolności to nie tylko dane osobowe, na co zwraca uwagę także RODO.
art. 1 ust. 2 : „Niniejsze rozporządzenie chroni podstawowe prawa i wolności osób fizycznych, w szczególności ich prawo do ochrony danych osobowych.”
Jest i powinny, o ile otrzymały już decyzję o uznaniu za operatorów usługi kluczowej (a chyba takie decyzje jeszcze nie wyszły z ministerstw). Zgadzam się, że takie zdarzenie można traktować jako naruszenie RODO, gdyż zdarzenie uniemożliwia osobom skorzystanie z nabytych praw. Swoją drogą, ciekawe, co UODO zrobiłoby z takim izgłoszeniami?
Decyzje są. Ale po pierwsze jest termin 3 miesięcy na wdrożenie tego fragmentu, a po drugie nie ma jeszcze (chyba) kryteriów uznania incydentu za poważny, a to ma zrobić Rada Ministrów.
Rok temu też były awarie?
Były co najmniej dwukrotnie 10go – tylko w innych miesiącach :)
https://www.difesaesicurezza.com/en/cyber-en/at-least-8-banks-in-eastern-europe-targeted-by-cybercrime-through-darkvishnya/
Nope, to nie to. Opisane przez Kaspersky Lab ataki były obserwowane wcześniej i nie miały za wiele wspólnego z niedostępnością usług dla zwykłych klientów banków.
Blisko, blisko.
„Tymczasem wszystko wskazuje na to, że u podstaw fali awarii leżały słabości infrastrukturalne i zbieg okoliczności.”
Tak jest, wszyscy zaczeli robic zakupy o tej samej godzinie, tego samego dnia. I oczywiscie, wszystko jest przypadkiem. Macie rozum 15latka?
Gdybyś przeczytał artykuł to wiedziałbyś, że nie o same zakupy chodziło. Masz rozum i godność człowieka?
@Adam Haertle Pitolenie do kwadratu. Systemy roznych bankow padly? Padly. Tak samo? Tak samo. Czy takze poza Polska? Tak, takze. Wiec przestan gosciu dyskutowac z faktami, bo autentycznie zachowujesz sie jakbys mial 15 lat gora.
A jakie są fakty? Oświeć nas.
PS. Nie padły „tak samo”. Objawy, które widzieli użytkownicy, było podobne, ale awarie różne. Ponownie, kłania się lektura artykułu.
Nikt się nigdy nie przyzna że padł ofiarą ataku dopóki nie będzie musiał sherlocki.
Wystarczy popatrzeć kto pracuje w IT takim aliorze, a zwlaszcza w Krakowie. Biedni ci, którzy tam mają konta ;-)
Pracowałem kiedyś z gościem który przyszedł z krakowskiego aliora jako developer. Szybko zespół go odsunął od kodowania, a pomyśleć że jeśli dostał inną pracę to był jeden z lepszych. Strach pomyśleć o tych którzy nie dostali innych ofert i dalej siedzą w aliorze
Tłumaczenie okoliczności jest dla mnie tak naiwne, że aż zaczyna pachnieć konspiracją, mimo tego że zwykle nie jestem skłonny do takich podejrzeń.
Gdyby np. banki padały w odstępie kilku godzin, czy np. jeden działał wolno, drugi nie pozwalał robić przelewów, trzeci nie działał wcale, to ok, może mógłbym w to uwierzyć. Ale cztery niezależne banki, padające praktycznie w tym samym momencie, w ten sam sposób? Teoretycznie jest to możliwe, ale skrajnie nieprawdopodobne.
Może mają infrastrukturę wy-outsourcowana do tej samej firmy/tego samego miejsca. Prawda jest taka, że kto miał olej w głowie wyjechał z PL albo zaraz wyjedzie by w spokoju bez użerania się z debilami pseudo managerami/it architektami, pracować za dwa razy większe pieniądze.
U mnie objawiło się to problemem z zakupieniem biletu na autobus przez aplikację Millennium po 14. Powiem tylko tyle, że to drugi taki „przypadek” w ciągu kilku ostatnich tygodni. Zbliżona godzina, ten sam bank, ta sama aplikacja, piękne połączenie 4G a lagi jak za czasów „0-20 21 22″… ?!
Pracowałem kiedyś w pewnym Banku i powiem wam jedno. To co działo się w KNF to pikuś. To efekt wypychania bąkowego bąbelka od dołu na samą górę. Winę ponoszą prezesi, bo w wielu Bankach oni sprawują władzę (a nie zarząd, który jest marionetkowy). Prezesi są „nieinformatyczni” do bólu. Nie chcą słuchać specjalistów. Każdy (prawie) prezes ma przydupasa, który liczy za niego jakie będą koszty wdrożenia czegoś i jakie będą koszty zaniechania. Na koniec decyduje matematyka, lub to czy kochanka spisała się z rana, zanim Prezes dotarł do siedziby.
To na pewno ruskie trole. CNN tak mówiło, musi być prawda.
Czyli tak naprawdę sami użytkownicy mogą wywołać DDOS bez zaangażowania dodatkowych zewnętrznych środków.
#BrawoOni #Ironia
Wiedcej studentow prosto po studiach niech zatrudniaja. Bedzie zdychac w kazdy poniedzialek a tak jak 10 grudnia wywali w kosmos.