Kolegi,
#python #programowanie i chyba #bigdata
Z CSVa odczytuje sobie wartości - ledwie około 1100, bo to próba, docelowo ma być ich.... no, średnio 16200.
Chcę sobie wyrzucić te wartości na matplotlibie, tak by po x był czas a po y wartość. Taka wizualizacja logów.
Problem w tym,że załadowanie tych 1100 wartości stanowi spory problem dla matplot liba. Trwa to długo, a wykres jest nieczytelny. Pytanie, co można zrobić, by utworzyć z tego czytelny wykres?
Na teraz odczytuje wszystko, nie pomijam, nie uśredniam. Dwie tablice [x] = czas z logu, [y] = wartość, po dokładnie 1084 elementów każda.
#python #programowanie i chyba #bigdata
Z CSVa odczytuje sobie wartości - ledwie około 1100, bo to próba, docelowo ma być ich.... no, średnio 16200.
Chcę sobie wyrzucić te wartości na matplotlibie, tak by po x był czas a po y wartość. Taka wizualizacja logów.
Problem w tym,że załadowanie tych 1100 wartości stanowi spory problem dla matplot liba. Trwa to długo, a wykres jest nieczytelny. Pytanie, co można zrobić, by utworzyć z tego czytelny wykres?
Na teraz odczytuje wszystko, nie pomijam, nie uśredniam. Dwie tablice [x] = czas z logu, [y] = wartość, po dokładnie 1084 elementów każda.
- Najlepsze
- Wszystkie komentarze
1. tak jak radzi @ludi889, najpierw zmierz czas - jabym sprawdził czas wykonywania poszczególnych fragmentów kodu:
- wczytywania pliku
- pętli wyciągającej dane z odpowiednich
Jeśli żaden z kolegów nie zaproponuje innego rozwiązania, sugeruję wrzucić timeit na poszczególne pętlę odczytu danych by sprawdzić z którymi najdłużej się męczy (bo tutaj idą głównie moje podejrzenia) i zawęzić możliwe problemy - https://www.geeksforgeeks.org/timeit-python-examples/
Zobaczcie
2. Wszystkie dane są dobrze sformatowane w CSV?
Ideą było wystawienie danych jako elementów w tablicy, łatwych dla matplot liba, ale spróbuję z pandasami i konwersją do flołtów! Stay tuned!
@pp555:
Zakładamy, że wartości z konkretnych kolumn odczytujemy w pętli do listy przechowującej wartości.
Użytkownik na początku deklaruje ilość parametrów jaką chce nanieść na wykres np.parameters = 4
Robimy
Może lepiej będzie to ogarnąć dictionarem?
Zobacz, że w tej chwili mam na sztywno stworzone dwie listy y i y2.
Użytkownik wybiera sobie dwa parametry które chce narzucić na wykres i dziękuję pozdrawiam.
A chcę, żeby ilość list była definiowana przez użytkownika. Żeby program stworzył n list, zapytał o n parametrów od odczytu, odczytał tych n parametrów a potem nałożył na