#programowanie #python #machinelearning Mirki, zacznę od was bo nie... (@zboinek)

#programowanie #python #machinelearning

Mirki, zacznę od was bo nie wiem gdzie dalej się udać. Mam następujący problem.
Chciał bym wydajnie przerabiać zdjęcia na macierze. Robię sobie trochę kaggli ale w każdym mam dokładnie ten sam problem. Ładowanie dużych Data Setów zajmuje dużo czasu.
Zaimplementowałem multiprocessing - bardzo naiwnie bo nie bardzo się na tym znam, niby jest szybciej ale to nadal dużo poniżej możliwości mojego serwera. Dysk NVMe - jakieś 3.3Gb/s odczytu, 40 core, 300+GB RAMu.

Nie wiem jak i gdzie szukać bottle necków, jeśli ktoś chce pomóc, uporządkowałem trochę temat i wystawiłem git repo
GIT REPO
https://github.com/zboinek/image_processing

Obrazek sprzed paru iteracji - niższa wydajność dla zwiększenia zainteresowania.

Najlepsze
Wszystkie komentarze

zboinek

zboinek Autor 6 l.

@vornikor: Właśnie natknąłem się na taką oto funkcje- pic rel. Nowa implementacja w tensorflow. Widać jest dokładnie tak jak myślę czyli to ładowanie jest zrealizowane zupełnie inaczej. Tutaj odczyt z dysku jest żaden, czas trwania koło 2s, co znaczy, że wcale nie tworzy tego od razu i trzyma w ramie tylko zacznie mielić dopiero jak będzie na to czas. Batch_size duży ale to tylko dla testu czy może czasami nie

vornikor

vornikor 6 l.

1. nie wiadomo skąd ściągnąć dataset
2. https://stackoverflow.com/questions/44078327/fastest-approach-to-read-thousands-of-images-into-one-big-numpy-array ?

ProfesorBigos

ProfesorBigos 6 l.

@zboinek: dlaczego nie używasz Pillow/PIL?

zboinek

zboinek Autor 6 l.

@vornikor: A sorki, w readme na gitcie jest skąd wziąć DS

zboinek

zboinek Autor 6 l.

@ProfesorBigos: mpimg implementuje PILa po swojej stronie

zboinek

zboinek Autor 6 l.

@vornikor: 2. to wskazuje tylko jak zrobić populate odczytanych obrazów do listy. Fakt może to być proces nad którym się pochylę jednak jak na razie interesuje mnie bardziej jak przyśpieszyć odczyt z dysku.

zboinek

zboinek Autor 6 l.

@ProfesorBigos: Sprawdziłem dla pillowa, Image.open() szybciej się inicjaluzje ale poza tym zero przyśpieszenia.

mackarr

mackarr 6 l.

@zboinek: OpenCV? cv2.imread + po odczycie z dysku zapis jako pojedynczy plik (o ile wyrobi ci filesystem).

zboinek

zboinek Autor 6 l.

@mackarr: ze co? :D chyba sie nie rozumiemy. obraz -> imread -> macierz -> lista.append(macierz). Zaczynam coraz bardziej zastanawiać się nad tym append-em. Może tak na prawde, imread jest wydajny a nie wydajne jest appendowanie do listy czy cos.

vornikor

vornikor 6 l.

@zboinek: Co właściwie chcesz zrobić? nie lepiej napisać w c++ "wtyczkę" do numpy? Pisałem kiedyś takie, i wydajność w moim przypadku polepszyła się o kilka *rzędów* wielkości

zboinek

zboinek Autor 6 l.

@vornikor: chce przyspieszyc proces ladowania zdjec do ramu w formie listy macierzy.
Średnio ogarniam c++ - wiem, że tam można sporo przyśpieszyć bo sam zarządzasz pamięcią. Co miała by robić taka wtyczka do numpy? odczytywać obraz i zapisywać go w formie macierzy?

vornikor

vornikor 6 l.

@zboinek: przeczytaj: http://xyproblem.info/

The XY problem is asking about your attempted solution rather than your actual problem. This leads to enormous amounts of wasted time and energy, both on the part of people asking for help, and on the part of those providing help.

Chodziło mi co ma robić program z wyższej perspektywy, może samo ładowanie tych zdjęć można zrealizować w inny sposób aby to szło bardziej efektywnie (np ładowanie

zboinek

zboinek Autor

adult

6 l.

Treść przeznaczona dla osób powyżej 18 roku życia...

Lugi

Lugi 6 l.

@zboinek: te dwie sekundy które ta funkcja zajmuje to wczytywanie metadanych. Ogólnie w każdym szanującym się frameworku jest zaimplementowany tzw. lazy loading, czyli zamiast wczytywać wszystkie obrazy naraz w jednym miejscu skryptu (co nie jest możliwe przy większych projektach, chociaż czasem ma to sens w bardzo specyficznych zastosowaniach), to framework wczytuje jedynie referencje na poszczególne sample w datasecie, a rzeczywiste ładowanie ma miejsce dopiero przy konstruowaniu batchy podczas treningu.

Ale

zboinek

zboinek Autor 6 l.

@Lugi: Co do drugiej części zgoda, tylko ze zeby zmniejszyc zdjecia, musisz je wczytac do RAMu w ten czy inny sposob ;) augumentacja geometryczna jak najbardziej jest bo zawsze jak uczysz model to chcesz go tez nauczyc szumu.
Co do części z SSD to jak dysk może być tu bottle neckiem skoro ma odczyt na poziomie 3.3GB ale wydaje mi się, że tutaj też popełniam jakiś błąd, to 400 w

Lugi

Lugi 6 l.

Co do drugiej części zgoda, tylko ze zeby zmniejszyc zdjecia, musisz je wczytac do RAMu w ten czy inny sposob ;)

@zboinek: tak, ale robisz to raz, a nie przy każdym treningu

Co do części z SSD to jak dysk może być tu bottle neckiem skoro ma odczyt na poziomie 3.3GB ale wydaje mi się, że tutaj też popełniam jakiś błąd, to 400 w porywach do 600MB/s prędkości ładowania samego

Aktywne Wpisy

Y3ll0w69

Y3ll0w69 +63

3 godz. i 28 min temu

Suvy są bez sensu.
Jedyna różnica między tymi autami to pojemność bagażnika, no i rozmiar
-Obydwa samochody wezmą na pokład 5 osób (kierowca + 4 pasażerów)
- dojadą z punktu A do punktu B (tak nawet 1.2 pure tech dojeżdża z punktu A do punktu B czy to używka czy nowy z salonu)

'No ale bmw x7 jest wyższe i wjedzie wszędzie'

Y3ll0w69 - Suvy są bez sensu.
Jedyna różnica między tymi autami to pojemność bagażnik... — **źródło:** 1000049408
Pobierz

mightyandrzej777

mightyandrzej777 +252

5 godz. i 11 min temu

Chcecie mi powiedzieć, że te same służby, które w mniej niż dobę znalazły starą babę od hejterskiego komentarza w stronę Owsiaka, nie potrafią zinfiltrować grupki na Discordzie na której gówniarze rzekomo umawiają się na dźganie ludzi? I że AKURAT kilka dni temu NASK ogłosił potencjalne zagrożenie w postaci ataków? I że AKURAT teraz jest w Sejmie przepychana ustawa cyfrowa wprowadzająca tylnymi drzwiami cenzurę internetu?

Tjaaa, to wcale nie ustawka xD Przecież gdyby

Aktywne Wpisy

Aktywne Znaleziska

Kobieta trafiła do aresztu, bo przypominała złodziejkę. Chamstwo w Państwie.

Unia blokuje 116 mln na rozwój fabryki MAN. Wszystko przez błąd polskiego Rządu

Ekspres do kawy rodziców zużył 1 TB danych w 10 dni

Nowa opłata od UE. Uderzy w polskich producentów i kieszenie wszystkich obywatel

Seria zatrzymań nastolatków. Autorzy takich nagrań muszą liczyć się z konsekwenc

Popularne tagi