Pożar w OVH - SBG2

[L3oN]

Aktualizacja

 

Edytowane 10 Marca 2021 przez L3oN

[ksk]

Tu są ładne filmy oraz zdjęcia z tego

https://www.dna.fr/amp/faits-divers-justice/2021/03/10/strasbourg-important-incendie-dans-une-entreprise-situee-sur-un-site-seveso-au-port-du-rhin

 

Kto nie trzymał backupów w innej lokalizacja temu płacz. 

Edytowane 10 Marca 2021 przez ksk

[Prezes]

Coraz lepsze to ovh, a pamiętam jak narzekaliśmy na awarie zasilania kilka lat temu

[Mion]

Jak ich zabezpieczenie ppoż działały tak jak ich BOK to nie ma  się co dziwić !

[L3oN]

Z tego co wyczytałem to 30 tysięcy serwerów poszło z dymem.

Przenieś się do chmury nabiera dosłownego znaczenia.

[Pawel_15]

Piszą o tym na wszystkich portalach ogólnopolskich wp.pl, onet.pl i interia.pl. Część usług leży, część ma problemy.

[Ponury Typ]

:D

[L3oN]

5 minut temu, Ponury Typ napisał:

Ludzie dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

 

A tak btw. polecam sprawdzić co ten BartPL wrzuca

Edytowane 10 Marca 2021 przez L3oN

[D D]

Generalnie nikomu nie życzę takiej sytuacji - czy to od strony użytkownika czy dostawcy. Nie słyszałem, żeby podobna sytuacja miała kiedykolwiek miejsce. Wszyscy wiedzą, że backupy są potrzebne, ale myślę, że w wielu przypadkach nikt nie zakłada spalenia całej serwerowni. Na pewno nie wszyscy klienci tej lokalizacji mieli backup a jeszcze mniej miało go w innej serwerowni, w innej miejscowości / kraju. Szef OVH zalecił wdrożenie klientom Recovery Disaster Plan, ale na pewno nie każdy go miał.

 

Warto przemyśleć jak to wygląda w naszych projektach. Lepiej dmuchać na zimne. Pewnie sporo szefów firm zapyta teraz swój dział IT jak wygląda ich Recovery Disaster Plan..

 

Powodzenie dla Teamu OVH, żeby udało im się jak najlepiej "ogarnąć" tę sytuację. Choć na pewno nie będzie łatwo. Na końcu trzeba też będzie wyciągnąć naukę z błędów, które na pewno miały miejsce. Bo generalnie taka sytuacja (o takiej skali) nie powinna mieć miejsca. Wiele osób zwraca uwagę w komentarzach na drewniane podłogi w tej serwerowni i na bliskość ogrodzenia (praktycznie tuż przy ścianach serwerowni). Do tego inne bloki SBG 1, 3 i 4 "przyklejone" do "dwójki". Cud, że wszystkie nie spłonęły. Generalnie jak się popatrzy na zdjęcia z pożaru, to nie sprawia to wrażenia profesjonalnego i bezpiecznego centrum danych. W Polsce mamy dużo lepiej zorganizowane serwerownie. Sporo osób wspominało, że OVH ma wyjątkowo tanie usługi i być może to wpłynęło na pewne "niedociągnięcia" i braki.

 

W sumie w serwerowniach w tej lokalizacji jest około 30 tysięcy serwerów. Chyba nie wszystkie się spaliły, ale nawet jeśli to jest 1/3 to i tak sporo. Ucierpiało też kilka znanych serwisów z Polski. Jedni poradzili sobie szybciej, drudzy właśnie stawiają serwery w innej lokalizacji i odtwarzają serwisy z backupów. Jeszcze inni być może w ogóle się nie podniosą.

 

Najszybciej z awarią uporała się chyba internetowa księgarnia bonito.pl. Po kilku - kilkunastu godzinach już byli z powrotem online. Zginęło tylko trochę bieżących wiadomości e-mail. Na stronach traseo.pl czy senuto.com jest komunikat o odtwarzaniu backupu i stawianiu serwera w nowej lokalizacji. Ale już na fangol.pl wyświetla się strona błędu Cloudflare. A fotka.com i ekai.pl po prostu się nie otwierają wcale.

 

Bonito.pl - serwis wrócił do działania
Senuto.com - serwis został wyłączony
Fotka.com - serwis został wyłączony
Traseo.pl - strona została wyłączona
Fangol.pl - strona została wyłączona

ekai.pl - serwis został wyłączony

 

DD

[Mruczek]

Ciekawe, czy to coś zmieni w polityce OVH? Rozsądnym rozwiązaniem byłaby rezygnacja z najtańszych linii serwerów (Kimsufi, SoYouStart) dla których zostały zbudowane nisko-kosztowe serwerownie kontenerowe. I wejście wyłącznie w rozwiązania bezpieczniejsze, ale też odpowiednio droższe. Z drugiej strony KS i SYS są drugim i trzecim życiem dla urządzeń, które zostały "wyeksploatowane" w OVH, co też jest redukcją kosztów i jest w sumie pro ekologiczne.

[Tom X]

2 godziny temu, D D napisał:

Pewnie sporo szefów firm zapyta teraz swój dział IT jak wygląda ich Recovery Disaster Plan..

 

Pewnie sporo pracowników działów IT zapyta swoich szefów jak wygląda ich plan podwyżek płac

[ksk]

Dlatego kupuje się pieprzone kimsufi za 5 euro miesięcznie i robi backup najważniejszych usług aby dało się to potem przywrócić . 

To nawet ja prywatnie utrzymuje 2 dodatkowe lokalizację jako zapas . 

[Suspect]

2 godziny temu, Mruczek napisał:

Ciekawe, czy to coś zmieni w polityce OVH? Rozsądnym rozwiązaniem byłaby rezygnacja z najtańszych linii serwerów (Kimsufi, SoYouStart) dla których zostały zbudowane nisko-kosztowe serwerownie kontenerowe. I wejście wyłącznie w rozwiązania bezpieczniejsze, ale też odpowiednio droższe. Z drugiej strony KS i SYS są drugim i trzecim życiem dla urządzeń, które zostały "wyeksploatowane" w OVH, co też jest redukcją kosztów i jest w sumie pro ekologiczne.

 

Oferty o których wspomniałeś nie były uruchamiane w SBG. Kimsufi działa głównie w GRA natomiast SoYouStart w GRA i RBX. Lokalizacja w Strasburgu była korzystna dla klientów z europy wschodniej zanim powstało WAW-1. Zamówić serwer w tej lokalizacji można jedynie w OVH więc można to uznać za lokalizację premium jeżeli nie była dostępna dla tańszych ofert.

Edytowane 11 Marca 2021 przez Suspect

[szuwarekmini]

4 godziny temu, D D napisał:

Bonito.pl - serwis wrócił do działania
Senuto.com - serwis został wyłączony
Fotka.com - serwis został wyłączony
Traseo.pl - strona została wyłączona
Fangol.pl - strona została wyłączona

ekai.pl - serwis został wyłączony

Czy wiadomo jeszcze jakie serwisy dostały po łapach? Wykop chyba też miał problemy z obrazkami.

[D D]

30 minut temu, szuwarekmini napisał:

Czy wiadomo jeszcze jakie serwisy dostały po łapach? Wykop chyba też miał problemy z obrazkami.

 

Nie ma raczej oficjalnej listy. To jest zbiór linków, które znalazłem w różnych artykułach w polskich serwisach na temat awarii w OVH. Na pewno ucierpiało dużo serwisów - mniejszych i większych.

 

Oświadczenie Octave Klaba z OVH:

 

https://www.ovh.com/fr/images/sbg/index-en.html

 

Z ciekawszych informacji z wideo: backupy (jeśli były i pozwalał na to charakter usługi) mogły być zlokalizowane w tym samym pomieszczeniu, w pomieszczeniu obok lub w innej lokalizacji. Będą sprawdzać jak to było dla poszczególnych klientów / serwerów i zależnie od możliwości będą odtwarzać dane z backupu.

 

Po włączeniu się alarmów na miejsce przyjechali pracownicy OVH. W pomieszczeniach znajdowało się bardzo dużo dymu, dlatego postanowili opuścić serwerownię z obawy o swoje zdrowie i życie. Straż pożarna, po przyjeździe, użyła kamer termowizyjnych i stwierdziła, że paliły się dwa UPSy. Poprzedniego dnia rano jest z UPSów, który się palił, był serwisowany przez producenta (dostawcę sprzętu) i wymieniane było dużo podzespołów tego UPSa. Po ponownym uruchomieniu około południa UPS działał prawidłowo.

 

Ponadto Octave Klaba stwierdził, że serwerownia, która się spaliła powstała w 2011 roku i zastosowane tam technologie są już dość przestarzałe a na ich wybór miały wpływ względu ekologiczne (zużycie prądu przy chłodzeniu itp.). Większość ich centrów zbudowanych jest w innej technologii. Ale te, które są podobne zostaną przebudowane tak aby podobna sytuacja nie miała miejsca.

 

Wygląda na to, że bardzo możliwe, że powodem pożaru był właśnie UPS serwisowane dzień wcześniej.

 

DD

Edytowane 11 Marca 2021 przez D D

[theqkash]

Wydaje mi się, że w powietrze wyleciało też fundacjakornice.pl - daty ostatnich zrzutów we wszelkich serwisach archiwizujących sieć zatrzymują się w przeddzień pożaru, a obecnie wyświetla się robiona na kolanie zaślepka - strona kieruje na serwery ovh. 

 

Akurat ta strata z różnych powodów dla niektórych osób może być uznawana za nie do końca taką złą informację  Ale to może taki mały offtopic z mojej strony.

 

https://polskatimes.pl/aktywistki-wziely-pod-lupe-billboardy-antyaborcyjne-wyliczyly-ile-mogly-kosztowac-plakaty-ktore-zalaly-polskie-miasta/ar/c6-15484742 

[Suspect]

Ucierpiał także dosyć duży hosting serwerów Minecraft mineserv.eu a szczegóły są widoczne na stronie. Przed pożarem utrzymywali około 1000 serwerów Minecraft.

[zajcev]

no jak mogliście pominąć zbiornik.com 

 

Cytat

W związku z pożarem serwerowni OVH serwis jest niedostępny.

Do czasu oszacowania strat nie jesteśmy w stanie określić terminu ponownego uruchomienia serwisu.

Awaria jest bardzo poważna i dotyka także serwerów zapasowych.

Monitorujemy sytuację na bieżąco. 
 

---

Aktualizacja 2021-03-10 17:00
Mamy informację, że część naszych serwerów spłonęła.
W poniedziałek 2021-03-15 OVH planuje przywrócenie ocalałych serwerów, w piątek 2021-03-19 ma zostać włączony kolejny ocalały segment serwerowni.
W międzyczasie pracujemy nad przygotowaniem nowej infrastruktury.

 

[l0calh0st]

Dużo jest stron które nie działają:

https://smsnd.pl/

https://innoventure.vc/

https://leki-weterynaryjne.pl/

https://odpady-help.pl/

https://yorkpolska.pl/

https://drewnotex.pl/

https://www.tradingforaliving.pl/

 

Widziałem dzisiaj jeszcze parę. W ogóle część z tych informacji na stronach pokazuje że nie mieli żadnych kopii. Wiele to świadczy o podejściu wielu firm do bezpieczeństwa ich danych. Nie mogę znaleźć adresu ale widziałem że jedna firma miała backup przed grubo tygodnia.

To oddaje jedno:

"firma hostingowa robi backupy i to wystarczy"

a co za tym idzie mogę mieć to gdzieś. 

[D D]

fotka.com już wróciła

 

DD

[Tom X]

pttk.pl
i archiwalna wersja serwisu
archiwum.pttk.pl

[theqkash]

W dniu 11.03.2021 o 22:59, theqkash napisał:

w powietrze wyleciało też fundacjakornice.pl

Strona została przywrócona, tyle że niektóre linki zewnętrzne kierują do web.archive

[Pawel_15]

Według FlagFoxa GTAsite.net siedzi/siedziało w OVH SAS. Strona leży. Największy i chyba jedyny portal o całej serii GTA i RDR.

[l0calh0st]

Wczoraj doszło do ponownego pożaru sbg1

 

[MatX]

smoke /= fire