[MOICO]

Godzina 01:55. Już nocna zmiana, a my zakończyliśmy starcie z POTĘŻNYM zgonem u nas w infrastrukturze. Problem rozwiązalismy. W sumie dokładnie nie do końca wiadomo czy sprzętowy czy programowy, ale po stronie jednego urządzenia który był jednym z logicznych elementów szkieletu. Po wymianie urządzenia i dokonaniu rutynowych czynności, aktualizacja konfiguracji.
Wszystko wystartowało pomyślnie i usługi wrócily do normy (ʘ‿ʘ)

Wołam komentujących (wybaczcie, jeśli nie wszyscy ( ͡° ʖ̯ ͡°) )


#moico #wroclaw

[Tymian]

@MOICO: to teraz zime piwo ( ͡° ͜ʖ ͡°)

Strasznie się wam to zesrało tam. Kto to tego bubla w szkielet włożył, co?

[avenavoqq]

@MOICO: i teraz pora na cs

[adrkan]

@MOICO: nie macie redundacji? Nie chcesz podać co padło, bo nie macie wpiętego alternatywnego takiego urządzenia.
Nie od Ciebie zależy, ale do cholery, wydajcie trochę pieniędzy, a nie taką przepustowość narażacie na padnięcie.
Nawet nie o podobnej przepustowości, ale jakieś awaryjne co byś mógł zdalnie przełączyć.
Ciekawe ile jeszcze macie tam sprzętu co jest narażony na podobne jazdy. Jak padnie to cała sieć leży...

[MOICO]

@adrkan: Jeżeli czytałeś wszystko co było pisane to latwo się domyślić, że jak walnie szkielet to leży wszystko. Dwa szkielety chcesz? Internet może też masz w domu z 4 kabli z różnych stron świata? ( ͡º ͜ʖ͡º) Alternatywnie to można przepiąć kilka segmentów a nie nagle czarować drugi pełny szkielet. ( ͡° ͜ʖ ͡°)ﾉ⌐■-■

[adrkan]

@MOICO: Napisałeś, że wymieniłeś sprzęt. Każdy sprzęt można zduplikować, a zwłaszcza ten gdzie jest wrażliwy na problem. Prywatnie prawie, z dwóch źródeł, router ma wan i wwan więc zawsze jest alternatywa. Ale mimo wszystko można się zastanowić nad tanim awaryjnym rozwiązaniem, by w takich chwilach przepiąć i lecieć na czymś wolniejszym, ale nie przerywać usługi. Inni potrafią.

[MOICO]

@adrkan: Idąc tym tokiem to najlepiej wszędzie mieć zapasy a najlepiej kilka sztuk każdego ( ͡º ͜ʖ͡º) backup, backupu w backupie ( ͡° ͜ʖ ͡°)
Dla każdego okaże się, że akurat jego lokalizacja będzie ta najistotniejszą - w sumie całkiem zrozumiałe to się wydaje. Awarie były, są i będą, w każdej branży ( ͡° ʖ̯ ͡°) a jak

[Marian90]

@MOICO: Dzięki za naprawę i info co się stało ( ͡° ͜ʖ ͡°) Mam nadzieję że teraz przeanalizujcie to zepsute urządzenie żeby sprawdzić co było przyczyną. Mam wrażenie że ta awaria czaiła się już wcześniej, bo np w czwartek rano parę razy przez chwilę nie było internetu. Nie macie jakichś wskaźników np użycia zasobów żeby określić czy dane urządzenie może mieć problem?

[MOICO]

@Marian90: Gdyby świat był tak prosty i urządzenia działałyby lub nie, to byłoby wspaniale (ʘ‿ʘ) w naszym przypadku dokładne zdiagnozowanie, które urządzenie ma focha było lekko utrudnione. Akurat te urządzenia stanowiły logiczny szkielet i kilka z nich urządzeń było scalonych w jedno, chociażby ze względu na redundancje. Jedno z nich zaczęło mieszać i pojawił się problem, bo sprzęt wadliwy nie chciał się ujawnić, a objawy trudne były

[drunkmaister]

No i spoko, do następnej awarii ( ͡° ͜ʖ ͡°) @MOICO

[ShortyLookMean]

@MOICO: tak, awarie zawsze się zdarzają. Ale właśnie pokazliscie, że nie macie redundancji. Z mojej perspektywy, to macie jakieś kiepskie urządzenie, które nie ma autodiagnostyki i bruździło. Typowy SPOF. Wiadomo, że ważna jest ekonomia i tańsze urządzenia to tańsze usługi, ale zamiast potraktować taką awarię jako argument dla księgowych i kamyczek do rzucenia wyżej, że SPOFy powinny być wyeliminowane, to prezentujecie tutaj postawę "tak ma być i koniec". Chyba nie tędy

[carlo497]

@MOICO: mieliscie wieczorem mocną czkawke. Jak dla mnie problem spokojnie do rozwiązania automatycznie gdybyście mieli ha w krytycznych miejscach.