Mam taki problem, że próbuję sobie posegregować dane i zapisać je w jednym pliku CSV.
W skrócie:
- Robię listę wszystkich plików w zdefiniowanym folderze
- Przeszukuję tę listę plików, aby znaleźć pierwszą liczbę całkowitą znajdującą się przed literą R (to identyfikator baterii)
- Przeszukuję tę listę plików, aby znaleźć pierwszą liczbę stałoprzecinkową (powiedzmy, że zawsze z 1 miejscem po przecinku) -> to identyfikator napięcia
- Przeszukuję tę listę plików, aby znaleźć ostatnią liczbę całkowitą -> to cykl bateriiPokaż całość

#datascience

Hej Mirki, tak sobie dlubie proste ETL w #pandas #numpy #python i glowkuje jak tu skrocic czas ladowania trzech duzych (1GB kazdy 900k x 200) CSV. Jedyne co przychodzi mi jeszcze do glowy to dorzucenie multiprocesingu bo duzo sie dzieje, z %pruna widze ze w tej chwili CPU jest waskim gardlem. Probowalem w prymitywny sposob zaladowac to w multi rozrzucajac kazdy plik na osobny proces ale naturalnie zabraklo RAMu, wiem, ze musze zchunkowac pliki i rozdystrybuowac chunki do workerow, probowalem chunksize= ale cos mi to nie bardzo chce w multi biegac. Bede jeszcze jutro probowal z np.arraysplit.

moj csvread wygladaPokaż całość

poleca ktoś jakiś kurs/ćwiczenia gdzie można się podszkolić w operacjach na tabelach typu dataframe? chodzi mi o nabranie wprawy w joinach, groupby i innych transformacjach. Fajnie by bylo poznać jakieś zaawansowane techniki itp itd.

#python #pandas #numpy #dataengineering

Mirki jakie strony polecacie do ćwiczeń Pythona oraz SQL pod analizę danych? Kursy są ok ale bez praktyki to wszystko o dupsko rozbić. #sql #python #pandas #numpy

Mirki, potrzebuję pomocy z #python

Mam na koncie kilka aplikacji okienkowych w #pyqt5 - przeważnie małe proste skrypty okraszone prostym GUI do użytku wewnętrznego w firmie. Wydaje mi się, że podstawy PyQt5 mam opanowane.

Teraz robię prosty skrypt do zapisywania i analizy wielokanałowego (8-16ch) dźwięku. Do analiz wykorzystuje #numpy - ale ten element też nie stanowi dla mnie problemu.

SamaPokaż całość

KoronaScience za darmo: kurs z podstaw Data Science w Pythonie

https://www.facebook.com/events/1094217857617583/

W trakcie kursu:
Poznasz podstawy #python, biblioteki #numpy, #pandas, #matplotlib i innych między innymi napiszemy razem prosty algorytm uczelnia maszynowego. Nauczysz się także pracować z obrazkamiPokaż całość

#python #anaconda mam problem z importowaniem #numpy, wyskakuje mi brak dll mklinit, w sieci jest mnostwo opisow tego problemu i rozwiazan ale nic mi nie dziala, czy ktos sie z tym spotkal?

Mirki, jak to zapisac w #python 2.7 ? Nie ma w nim * do rozpakowywania kolekcji w argumenty :(

correlated = data.corr()['target'][lambda c: c > 0.1]
data = data[[*correlated.index]]
#pandas #numpy #sklearn

#python #numpy #scipy

Mirki, ogarnia ktos jak dziala funckcja numpy.gradient? Czytam dokumentacje, ale zupelnie nie rozumiem. Z czego ona liczy pochodne, jak tylko array sie jej podaje?

Po co jest ten przeciniek?

np.ones(10, )

#python #numpy

Próbuję zainstalować SciPy na Windowsie zgodnie z tym tutorialem i gdy chciałem wypakować przez 7-zip wypakować SciPy i wcisnałem "extract to scipy......." to wyskoczyło mi "Incorrect command line". Numpy się zainstalowało, a SciPy ma ciągle jakiś błąd przy instalacji, próbowałem zainstalować to też wcześniej przez PyCharma i też był jakiś błąd.

Ktoś ma pomysł jak to naprawić?

#naukaprogramowania #python #numpy

Mirki mam problem, jak zapisać takie równanie z #matlab w #python z użyciem #numpy ??
F = H.*G((iMin:iMax)-i+w+1,(jMin:jMax)-j+w+1);

Próbowałem tak:
F=H*G((np.arange(imin,imax))-i+w+1, (np.arange(jmin,jmax))-j+w+1)
ale nie działa niestety :<
Pomocy (╯︵╰,)

Mirki, ktoś wie jak przypisać w #python #numpy macierzy imię z listy? Mam w liście kilkanaście elementów:

['smootheddrift0', 'smootheddrift1', 'smoothed_drift2', ...]

i chciałbym aby w pętli tworzone były macierze, które będą nazywane wartościami zPokaż całość

Hej, mam mały problem, mam obrazek na którym znajduje jakąś krzywą dyskretną(będącą funkcją określoną na osi x) i chce sobie wyznaczyć prostą prostopadłą w każdym punkcie tej krzywej. Jak to zrobić ? Policzyć pochodną i potem jakoś dodać te 90 stopni ? Czy moze jest już jakaś metoda na to ? Za czym googlować ?

#programowanie #numpy #python #matematyka

Bo czasem matematyka jest przydatna jeżeli chcemy napisać coś bliżej optymalnego rozwiązania

http://www.tristanhearn.com/gameoflife

#python #numpy #gameoflife