Czyli awaria w serwerowni Beyond oczami sysadmina. Próba wyjaśnienia przyczyn i demaskacja drobnych kłamstewek ;-)

[Crackeed]

Dodatkowo TIER 4 określa data center jako bezawaryjne!

Tier I wymaga dostępności serwerów w skali roku na poziomie 99,671%. Daje to wynik prawie 29 godzin przestoju w ciągu roku. Ten standard nie wymaga dodatkowego zasilania.

Tier 2 wymaga dostępności serwerów w skali roku na poziomie 99,749%. Daje to wynik 22 godzin przestoju w ciągu roku. Standard ten wymaga podtrzymania zasilania dzięki zastosowaniu UPS oraz instalacji systemu chłodzącego.

Tier 3 wymaga dostępności serwerów

[maakumba]

Dla mnie jako laika oczywistym wydawało się po pierwsze zabezpieczenie zasilania, czyli w przypadku awarii automatyczne przełączenie na zasilanie awaryjne, bez strat kilkuminutowych, bo jak wiadomo, oznaczają one bardzo duże problemy z powstaniem na nowo serwisów, które są tam podłączone. Drugą oczywistością wydawało mi się posiadanie kopii danych w bezpiecznym miejscu, czyli tak, aby awaria systemu nie miała wpływu na awarię kopii. Ale patrząc na to, co się stało to moje mity

[szuineg]

jako specjalista od zasilania pozwolę sobie się pośmiać z "artykułu". Najlepsze to UPS który nie zadziałał - UPS jak sama nazwa wskazuje działa cały czas, a nie wtedy gdy zabraknie prądu (no chyba że taki za 200PLN z biedronki - line interactive, czy inny off-line). Jak słusznie napisał "robinierobi" "TIER 4 to musi to być schemat 2 x (N+1) lub często podawane 2N+1" a sekcje zasilania są połączone przez STS (Static Transfer

[robinierobi]

Panowie i Panie,

chyba ktoś myli pojęcia albo wie, że dzwoni tylko nie wie w którym kościele. Tier - to standardyzacja/poziom infrastruktury w Data Center.

Jesli jest mowa o TIER 4 to musi to być schemat 2 x (N+1) lub często podawane 2N+1. Co oznacza, że infrastuktura (cała) musi być zdublowana. Jak jedna pada i nie działa to duga pracuje i działa. Obciążenia na poziomie najlepiej 40% na jedną stronę bo w

[dwakaski]

Kwejk idzie do Beyonda - cieszcie sie hejterzy!

[eaxene]

Dobra a może mi ktoś wytłumaczyć o co chodzi z tą awarią, kim jest ta firma co tą awarię miała i dlaczego miałbym sie tym przejmować?

EDIT:

aaaa właśnie zobaczyłem strony jakie mają na serwerach.

[P.....i]

Caly wpis to czepianie sie drobnostek. Gosc nawet nie wie co sie stalo, ale wysnuwa hipotezy w tonie spisku miedzynarodowego. Dno, zakop.

[krzysztof-kotkowicz]

@Preclowski: Świetnie, tylko w serwerowni klasy Tier-4 awaria o takich skutkach nie ma prawa się zdarzyć w toku normalnego działania. Szczególnie, jak to ładnie ujęli "w trakcie rutynowych testów".

[krzysztof-kotkowicz]

@Preclowski: Uważasz tak poważną awarię za drobnostkę? :-)

[kulmegil]

Fajnie się jeździ po leżącym i po ideii klałdów jako takich.

Nie mam konte'a więc zapytam tak bardziej poważnie jak dokładniej wygląda sytuacja po tej awarii?

Czy dotknęło to całości czy część danych/klientów?

Czy został przywrócony jakiś wcześniejszy backup cokolwiek, czy też chmura jest zupełnie pusta?

[aberazioon]

Czy może ktoś mnie oświecić co to jest ten Beyond i dlaczego gadają o tym wszystkie internety? Jakiś nasz swojski gugel?

[H.....m]

Może mi ktoś wyjaśnić znaczenie słowa fuckup ?

Bo o ile backup jest dla mnie zrozumiały o tyle fuckup pierwszy raz się z tym spotykam i mam tylko negatywne skojarzenie co do tego znaczenia związanego z pieprzeniem.

A nie wiem czy ten termin fuckup odnosi się do jakiejś zdefiniowanej informatycznej terminologii czy jest to po prostu słowo, które stosowane jest zamienie jako backup != fuckup, gdy nie wyjdzie jakiś backup. Z racji

[kulmegil]

@Harem:

To taka forma backupu, w której nie występuje walidacja archiwizowanych danych ani kontrola jakości / dostępu do nośników.

Przykłady:

- nie mamy taśm magnetycznych, ale jest pudełko płytek (noname) na które nagrywamy

- w sensie jak z wczoraj? przecież wczoraj nie był pierwszego.

- bo trochę dużo zajmuje, więc zrobiłem backup sum MD5 rzeczywistych danych.

[KKKas]

@Harem: http://www.urbandictionary.com/define.php?term=fuckup

[teleimpact]

Mam VPSa w jednej z Krakowskich serwerowni która jakiś czas temu miała podobny problem, padło zasilanie - generator nie zadziałał. Kilkanaście godzin problemów, ale tam przynajmniej wszystkie strony powróciły w całości. Firma przynajmniej nie ściemniała, po prostu napisali że generator nie zadziałał, a nie że "przeprowadzali testy".

[KochanekAdmina]

@teleimpact: Jak pada zasilanie w "tradycyjnej" serwerowni to nic strasznego. Parę godzin i wszystko staje do kupy, ale gdy chodzi o chmurę to wyłączenie prądu jest równe z utratą niemal wszystkich danych.

[Krendzel]

@teleimpact: No ok, tylko że w Twojej serwerowni akurat Buckup był na oddzielnym zasilaniu i macierzy a tutaj wszystko było podłączone pod jedno "gniazdo" więc wszystko naraz poszło się je*ać ...

SysOp ze mnie żaden ale pogratulować im konfiguracji trzeba , nie ma co...

[daroo]

Fajny blog. Trzy wpisy.

[krzysztof-kotkowicz]

@daroo: Każdy jakoś zaczyna, prawda?

[daroo]

@krzysztof-kotkowicz:

Prawda, ale trochę się rozczarowałem wpisami z przed 3 i 4 miesięcy. Jak zobaczyłem "sys admin blog" zostawiłem go w zakładkach i gdy wróciłem z kawą mając nadzieję, że znalazłem zajęcie na najbliższe godziny skończyłem czytać nim... wypiłem kawę. Życzę powodzenia i natchnienia!

[A.....1]

Niczym Obama, ani razu nie powiedział "przepraszam".

Co do agregatu. No k@%#a, dzięki, że powiedział o jego wyłączeniu. Pracujący agregat generuje hałas na poziomie 110 db,a jego pełna sprawność jest osiągana po kilku - kilkunastu sekundach od uruchomienia. W tym czasie dostawy energii powinny zapewnić UPS-y. Znając życie pewnie akumulatory w nich nie były wymienianie od jakiegoś czasu co spowodowało zanik zasilania.

[fenio]

Skomentowałem Ci te wypociny. Moim zdaniem do zakopania.

Poniosła Cię fantazja trochę.

[kielus]

@fenio: wykopy w tym temacie to w ogóle kupa śmiechu. Przecież każdy wykopowicz wie jak powinna wyglądać duża serwerownia, niejedną w domu ma ;)

[krzysztof-kotkowicz]

@fenio: Nie zgodzę się z Tobą. W momencie, gdy instalowaliśmy serwery NK w Beyond, było wyraźnie powiedziane, że jeden z zasilaczy podłączamy pod jedną listwę, drugi pod drugą, z uwagi na to, że do każdej z listew zasilających dociera prąd z innej linii zasilającej.

[pneumokok]

A teraz wyobraźcie sobie brak redundancji u operatora np. telefonii komórkowej.

No właśnie. Szpece i szpece. Tu i tam.

A teraz zerknijta na nagranie… 1:44...

http://www.youtube.com/watch?feature=player_embedded&v=FXBIeetKuIk#!

SZCZYLE? Mam nadzieję, że tylko odpisują tam na maile.

[krzysztof-kotkowicz]

@LostHighway: Uczą się, jak naprawiać macierz. Na błędach. ;-)

[pneumokok]

@anonim1133: młodym brakuje jednego - doświadczenia praktycznego.

Teraz na przykładzie nauczyli się, że marketing i podpięcie 2 niezależnych źródeł zasilania to nic, jeżeli nie ma możliwości płynnego przełączania się między nimi. Ale dopiero teraz. Pomijam kwestie braku backupu.

[zurawinowa]

Podczas testów? Prawie jak w Czarnobylu. ;)

[Nadrill]

Ech, typowe... Zamiast przyznac sie do bledu motaja sie, se robili jakies testy... A prawda jest taka, ze dali dupy i backupy podlaczone pod jedno i wszystko #!$%@?...

Co za asy.

[z.....3]

@Nadrill: Odnośnie błędów Beyond popełnił jeszcze jeden bardzo poważny błąd. Backup powinien znajdować się w innej lokalizacji niż kopia podstawowa. Wtedy całkowity brak zasilania dla części serwerowni pozwala na przełączenie węzłów do alternatywnych serwerów. Ale w ramach oszczędności backup znajdował się w tej samej serwerowni, bo transfer lokalny plików nic nie kosztuje, a przenoszenie ich przez internet już tak.

[g.....f]

@Nadrill: a ien caly misterny plan tez w %#$!u

[m.....o]

Co tam panie słychać w wielkim internecie ;)

[MajkiFajki]

@mas1o: 404