Wpis z mikrobloga

Mirki/Mirabelki,

jak obiecalem tak robie bo chcieliscie wiedziec wiecej na temat tego wpisu:
https://www.wykop.pl/wpis/47492979/mirki-nareszcie-bede-mogl-otworzyc-druga-zakladke-/167704097/

Otoz pamiec tak potrzebna mi jest do upgrade hypervisorow w prywatnym cloudzie zbudowanym i utrzymywanym wylacznie przeze mnie w firmie w ktorej pracuje.

Gdzie pracuje: pracuje w #uk w #cambridge w jednej z firm zajmujacych sie NLP (natural language processing https://en.wikipedia.org/wiki/Natural_language_processing). Firma ta wytwarza oprogramowanie wlasnie do tegoz celu ktore jest znane i uzywane przez duza liczbe firm z tak zwanego Big Pharma...

Ponizej w komentarzach troche zdjec przedstawiajacych tenze cloud, a teraz troche opisu.

Private cloud oparty jest na #openstack i #ceph jako storage. Mam 6 glownych compute nodow , opartych o #amd EPYC (kazdy po jednym procesorze z 32 rdzeniami co w polaczeniu z HT daje 64 watkow). Na tych compute nodach dziala okolo 350 wirtualnych maszyn ( i non stop przybywa, dlatego rozbudowa pamieci ram, bo zaczyna brakowac, teraz jest to 0,5TB per jeden wirtualizator). Calosc dziala pod kontrola #linux #centos i #openstack #stein. Niedlugo bedzie to aktualizowane do wersji #train.

Jesli chodzi o storage, to jest to #ceph dzialajacy na 8 serwerach wypchanych dyskami (w chwili obecnej mieszanka 6TB i 10TB dyskow, w sumie 147 dyskow na caly klaster cepha), dajacyh w sumie ponad 0,5PB storage (storage tez teraz rozbuduwuje). Kazdy serwer wchodzacy w sklad ceph'a ma dodatkowo szybkie dyski #ssd #nvme na #pci jako cache do tych dyskow talerzowych.

Tak jak wczesniej wspomnialem caly klaster i platforma openstack jest zbudowana przeze mnie i przezemnie tylko utrzymywana w firmie, dlatego traktuje to jako moje 4 dziecko (4, bo mam 3 realnych i prawdziwych synow).

Na zdjeciach widac takze dodatkowe hypervisory oparte o komputery #apple mac mini. Sa to specjalne hypervisory ktore sluza do wirtualizacji #macos w openstacku (z tego co wiem jestesmy pierwsza firma ktora zrobila support dla tego systemu w openstacku, lecz szczegolow nie moge opisac, gdyz jest to projekt wewnetrzny). Czemu apple mac mini do macos'a, zeby byc zgodnym z licencja apple: licencja apple mowi ze macos moze byc tylko i wylacznie uruchomiony na sprzecie apple i tylko dwie instancje macos moga chodzic na jednym fizycznym sprzecie apple.

Na innym zdjeciu jest obecny stan klastra (glownie pokazane jakie hypervisory/ile pamieci/ile vmek itp).

Odpowiadajac na pytania z poprzedniego wpisu:

@Toby_Flenderson
@fukken
z tym linusem to nie jest tak ze sie nie zna... ale on o zastosowaniu typowo serwerowym malo sie raczej zna... i akurat w komputerze do grania/obrobki zdjec/domowym powyzej 0,5TB ramu nie wiele pomoze, lecz w moim przypadku jak najbardziej to dziala i dziala bardzo dobrze. Po za tym przy konkretnym zastosowaniu (np serwery pod aplikacje ktora serwuje duzo danych z dysku (powyzej 2TB itp), to duzo laduje w pamieci jako cache).

@PiersiowkaPelnaZiol
Jestem starszym Administratorem systemow operacyjnych, tudziez inzynierem systemowym, inaczej mowiac Senior DevOps, po co tyle ramu: wyzej opisalem.

@ManamanaTuriruriru
Jesli wiecej info chcesz, pytaj, to co bede mogl to odpowiem.

@Kaker
Zielonego pojecia nie mam, ale patrzac na ceny to w przyblizeniu jakies 33407 GBP (czyli jakies 170k PLN) (https://www.scan.co.uk/products/64gb-1x64gb-crucial-ct64g4lfq4266-ddr4-server-ram-pc4-21300-2666-ecc-load-reduced-cas-19-quad-rank-1 a mam 96 takich kostek).

Wolam zainteresowanych z poprzedniego wpisu:
@Toby_Flenderson @fukken @PiersiowkaPelnaZiol @ManamanaTuriruriru @Kaker @Curus_Bachleda @fervi @6poziomprokrastynacji @siona @asdasdce2w @paw4da
@CL4P-TP @staryalejary11 @bluber @Arhus @bladyatl @Naopak @JarekJak @tak_pozwalem_cie @tylkolurko @Janusz_Dmowski-Zubr @bartton @K-S- @co_za_roznica @zxcvbnm666 @mateuszkapelusz @Brydzo @sramnawas @chrabia_bober @dyslexia @xduchux @Artrix

Tagi:

#linux #centos #openstack #ceph #opensource #macos #apple #programowanie #it #komputery #informatyka #programista15k #pracbaza #sysadmin #technologia #ciekawostki
  • 30
ja nie jestem w big pharmie...


@sq4ind: jakoś mi się dwa kolejne zdania pomieszały i myślałem że właśnie pracujesz, ale już nie mogłem edytować bo ktoś dodał następny komentarz.

A supportu z zewnatrz raczej nie potrzebujemy na cos co sami budujemy i ogarniamy.


Dopóki nie trafisz na jakieś poważniejszego buga albo nie będziesz potrzebował nowego ficzera ;)
@zelaznymezczyzna11: chyba wyjdzie z tego male #ama :)

Jak? Zaczalem na studiach jako wolontariat na pierwszym roku, na drugim roku juz pracowalem na pelnym etacie jako sysop i studiujac dziennie... uczylem sie sam na swoich bledach.. praca stala sie moim hobby i na odwrot... wiec robisz cos co lubisz i masz jeszcze za to placone... Teraz troche sie czasy zmienily, ale ogolnie siedzenie przy kompie stawianie czegos psucie naprawianie, psucie i
@yuim: trafialismy na bugi juz nie jeden raz... np w openstacku i projekcie designate... gdzie selinux troche przeszkadza... co wiecej nic nie loguje do audit ... bug rozwiazany:) Ficzera - staramy sie raczej nie robic czegos co nie jest ponad sily danego softu (w tym przypadku openstack/centos)... ale tak - nowym ficzerem jest obsluga macosa w openstacku - zrobilismy to sami bez zewnetrznego supportu... kwestia wiedzy i jej wykozystania... :)
@sq4ind: Co to są dokładnie jest na pierwszym zdjęciu(wiem że serwer ale jaki model). Masz dokładniejsze fotki co jest w środku?

Pracuje jako programista i nigdy nie widziałem z bliska dużego serwera.
@K-S-: to jest cala szafa serwerowa, tylko nie wiadomo czemu przerzucona na bok.. Wiec od dolu opisujac:
pulka dyskowa
Serwer Dell R430
nastepnie idac do gory 8x R510/R515
duzy serwer to R930 (potezna bestia, 4 x CPU z 144 watkow wszystkie), 0,5 TB ramu (a tylko czesc obsadzona) do tego dyski SSD SAS enterprise 4TB dajace w sumie 40TB przestrzeni w RAID 60)
nastepnie do gory: 6 x dell R6415 (amd)
@PiersiowkaPelnaZiol:
Placa dobrze :) Raczej wyzej niz srednia z tego zawodu.

CCNA - przereklamowane, papieru raczej bym nie robil, tylko dla samej wiedzy ogarnal kurs ale papieru nie..

co do chmur - skup sie na AWS - glownie tego teraz sie uzywa (my rowniez oprocz prywatnej chumury ogarniamy znaczna czesc w publicznej AWS).

Jak cos podpytac sie chcesz to pisz smialo.