[K-S-]

Mirasy mam takie pytanie. Co robić by zabezpieczyć się przed awarią dysku w linuxie?

W sensie ostatnio złożyłem sobie komputer który miał działać jako domowy serwer plików i zamontowałem w nim stary dysk który w momencie instalacji miał dobry smart. Komputer popracował kilka dni i zaczął sypać błędami dysku. I tak sypał nimi prawie cały dzień zanim to zauważyłem.

Teraz dysk jest tak uwalony że nie jestem w stanie odzyskać danych. Tych danych mi w sumie nie szkoda bo to pliki z mojego hostingu, ale chcę wiedzieć jak na przyszłość uchronić się przed takimi sytuacjami.

Wiem że najprościej korzystać z raida, no ale co jeżeli na obu dyskach pojawią się bad sektory? Szukam czegoś co po wykryciu bad sectorów wykona jakąś konkretną akcje, typu wyłączenie komputera.

#linux #devops #informatyka

[HellsAmbassador]

@K-S-: Zobacz to: https://www.davychiu.com/blog/ubuntu-linux-email-notification-on-hard-disk-s-m-a-r-t-errors.html

[annotate]

@K-S-: raid plus backupy off site. Nic innego nie pomoże.
Smart nie zawsze coś da, często dyski ssd padają bez słowa ostrzeżenia w Smart. Raid jest spoko, ale jak masz padający większy HDD i zaczniesz na nim odbudowywać raid to szansa że skończysz z dwoma #!$%@? i dyskami wcale nie jest mała.

[annotate]

@annotate: wylaczenie komputera to nie jest jakis mega pomysł. Stare dyski mogą nie przetrwać startu. W jednej robocie w takiej polamatorksiej serwerowni jak padała klimatyzacja i temperatury szły za wysoko to wylaczenie serwera oznaczało jego śmierć. Dyski na śmietnik. Walczyło się z nimi póki się kręciły :p

[bramborak]

@K-S-: Nie masz zbyt wielu opcji albo częsty backup np. na tasiemki jeżeli boisz się dysków (streamery są mega tanie teraz) ale najlepiej robisz sobie md albo lvma albo zpoole co kto lubi ja mam wszystko na OpenZFSie.
Ps. Sprzedam serwer tanio ( ͡° ͜ʖ ͡°) IBM X3550 M3, 8 Dysków SAS 900GB, 2x CPU i 32GB RAM

[K-S-]

@HellsAmbassador: To jest to co może pomóc. Najśmieszniejsze że tam był ten program tylko nie wiedziałem że jest tam demon i można go tak skonfigurować.

@annotate: W sumie masz rację wyłączenie komputera to słaby pomysł, ale przynajmniej niech wyłączy usługi które coś pobierają i wyśle jakąś informacje.

@bramborak: Nie no bez przesady z tymi streamerami (choć w sumie kupiłbym z ciekawości ( ͡º ͜ʖ͡º)).

[bramborak]

@K-S-: ZFS dużo pamięci o.0
Zrobisz jakiegoś paścia, który znowu się zepsuje i będziesz postował, że tym razem cenne dane poszły do piachu ( ͡° ͜ʖ ͡°) ale spoko my tu będziemy

[fervi]

@K-S-: Backupy

[K-S-]

@bramborak: No zjada sporo ramu, choć przyznam że korzystałem tylko z woliumów.

A postować będę jak już dostane gdzieś pracę jako devops albo administrator (⌐ ͡■ ͜ʖ ͡■)

[HellsAmbassador]

@K-S-: W sumie może lepiej podmontować Fuse S3 (https://github.com/s3fs-fuse/s3fs-fuse) do jakiegoś backblaze albo wasabi.com i tam pchać borgerem przyrostowe kopie?

[v-tec]

@K-S-: RAID z nadmiarowością, a przede wszystkim backup najlepiej w oddzielnej strefie przeciwpożarowej.

[bramborak]

@HellsAmbassador: nieeee tylko nie fuse s3 xD lepiej zainstalować AWS CLI i zrobić "AWS S3 sync" od biedy masz AWS Storage Gateway ale potrzebujesz VMki lokalnie.
To już nawet lepiej IPseca zestawić i zrobić remote mount z EFSa niż babrać się z fuse.
AWS CLI obsługuje multipart upload natywnie więc będzie okejka.
Pamiętaj też żeby zrobić lifecycle tyle do Glaciera czy też włącz Intelligent Tiering

[bramborak]

@v-tec: (ಠ‸ಠ)

[HellsAmbassador]

@bramborak: Dlaczego? Pcham tak sporo danych, daje radę. No i popraw mnie, jeśli się myle, ale chyba s3 sync ogranicza Cię tylko do drogiego aws'a.

[bramborak]

@HellsAmbassador: Poprawiam cię S3 sync --storage-class GLACIER lub GLACIERIR lub DEEPARCHIVE
Prostsze szybsze niż fusowe sterowniki i backup script w cronie ma 2 linijki.

[HellsAmbassador]

@bramborak: Ale nie ma dedupllikacji jak Borger ;)

[bramborak]

@HellsAmbassador: No s3 to storage obiektowy i nie ma deduplikacji oraz kompresji możesz sobie zdeduplikować dataset i zkompresować i wtedy syncować ¯\_(ツ)_/¯
S3 to storage a nie backup, w ogóle AWS Backup może robić backup S3 dodatkowo masz versioning.
AWS od niedawna ma też FSX for NetApp Ontap i tam masz i deduplikacje, kompresję, iscsi, smb, nfs i czego dusza zapragnie.

[HellsAmbassador]

@bramborak: Nie no, wiem co to S3. Chodzi mi o to, że montując s3 jak każdą inną partycję, mogę do backupów używać borgera, robić kopie inkrementalne, deduplikację. a s3 sync mi tego nie zapewni.

[bramborak]

@HellsAmbassador: ale dalej możesz używać borgera i wszystko co robisz bez montowania S3 bo to ogólnie szalony pomysł

[bruuh]

Wiem że najprościej korzystać z raida, no ale co jeżeli na obu dyskach pojawią się bad sektory? Szukam czegoś co po wykryciu bad sectorów wykona jakąś konkretną akcje, typu wyłączenie komputera.

@K-S-: używasz raid 5, instalujesz w systemie coś co odczytuje dane ze smart np. smartmontools robisz sobie crona który co 12 godzin odpala smartmontools i grepuje czy tam coś robi z outputem i w razie czego wysyła ci webhooka na