Wpis z mikrobloga

Skopiuj link

11.07.2018, 22:54:50

Mirki mam skrypt napisany w pythonie z biblioteką multiprocessing więc mogę odpalić go z użyciem flagi --jobs 'ilosc procesow' co spowoduje uruchomienie go na wielu rdzeniach.
Wszystko spoko tylko że mam dwie identyczne maszyny po 4 rdzenie (cluster) i chciałbym wykorzystać je wszystkie,jak to zrobić?
#raspberrypi #mpi #python #pytanie #komputery #informatyka #programowanie #parrarelcomputing #cluster #serwery

Nieuk0192

11.07.2018, 23:01:01

@Red_Hawk: mam chęć pomocy, ale nie wiem o czym Ty do mnie mówisz xD

skrypt napisany w pythonie z biblioteką multiprocessing

flagi --jobs 'ilosc procesow'

maszyny po 4 rdzenie (cluster)

Red_Hawk

11.07.2018, 23:15:45

@Nieuk0192: XD
No mam program ,w którym jest użyta biblioteka która umożliwia rozłożenie jego pracy na różne rdzenie procesora aby przyspieszyć działanie.Jednak owa biblioteka umożliwia użycie tylko lokalnych rdzeni (w maszynie z której jest odpalana) a ja chciałbym odpalić ten program na dwóch maszynach tak aby działało to dwa razy szybciej

@Red_Hawk: MPI

@Red_Hawk: no i na co czekasz? Odpalaj na dwóch maszynach ( ͡° ͜ʖ ͡°)
Nie dziękuj, czasami trzeba się kogoś poradzić ( ͡° ͜ʖ ͡°)

Red_Hawk

11.07.2018, 23:31:46

@przepelnieniebuforu: Myślałem nad tym ale nie wiem jak się za to zabrać ,jakieś wskazówki?

Red_Hawk

11.07.2018, 23:32:14

Treść przeznaczona dla osób powyżej 18 roku życia...

chrzanu180

12.07.2018, 05:14:16

@Red_Hawk: Może docker?

gchmurka

12.07.2018, 06:09:57

@Red_Hawk: https://wiki.python.org/moin/ParallelProcessing
sekcja cluster computing

Kiedyś użyłem testowo pp - ale to było z 4 lata temu (stawiasz serwery, wysyłasz do nich część obliczeń, zbierasz dane).

przepelnieniebuforu

12.07.2018, 06:31:15

@Red_Hawk: Stawiasz środowisko (jest nawet docker) odpalasz na jednej maszynie, ona automatycznie przesyła binarkę do wszystkich nodeów podpiętych. Na podstawie ID node wyznaczasz zakres pracy i czekasz na wyniki.

Red_Hawk

12.07.2018, 07:09:47

@gchmurka: a da się to odpalić bez ingerencji w program który chce odpalić?

Red_Hawk

12.07.2018, 07:10:33

@przepelnieniebuforu: Okej , jak postawić srodowisko.? Sory że takie pytanie ale jestem jeszcze w tym zielony

gchmurka

12.07.2018, 07:35:53

@Red_Hawk: ehh szkoda słów... wszystko tam masz opisane, jeśli nie potrafisz skorzystać z w/w informacji to odpuść i kup mocniejszy komputer który zrealizuje zadanie szybciej.