Davidvia0
Davidvia0
Mam taki problem, że próbuję sobie posegregować dane i zapisać je w jednym pliku CSV.
W skrócie:
- Robię listę wszystkich plików w zdefiniowanym folderze
- Przeszukuję tę listę plików, aby znaleźć pierwszą liczbę całkowitą znajdującą się przed literą R (to identyfikator baterii)
- Przeszukuję tę listę plików, aby znaleźć pierwszą liczbę stałoprzecinkową (powiedzmy, że zawsze z 1 miejscem po przecinku) -> to identyfikator napięcia
- Przeszukuję tę listę plików, aby znaleźć ostatnią liczbę całkowitą -> to
  • Najlepsze
  • Wszystkie komentarze
IamHater
Co robię źle?


@Davidvia0: zacznijmy od tego że nie wrzucasz kodu na pastebina

# tutaj kod sie wali


jak wrzucisz co konkretnie się dzieje to może ktoś pomyśli
G.....y
G.....y
@Davidvia0: sprobuj przez ([0-9]+)R.*([0-9.]+).*([0-9]+)
hoszak
hoszak
#datascience

Hej Mirki, tak sobie dlubie proste ETL w #pandas #numpy #python i glowkuje jak tu skrocic czas ladowania trzech duzych (1GB kazdy 900k x 200) CSV. Jedyne co przychodzi mi jeszcze do glowy to dorzucenie multiprocesingu bo duzo sie dzieje, z %pruna widze ze w tej chwili CPU jest waskim gardlem. Probowalem w prymitywny sposob zaladowac to w multi rozrzucajac kazdy plik na osobny
  • Najlepsze
  • Wszystkie komentarze
d.....z
d.....z
A.....c
@hoszak: Spróbuj Polars, sporo szybsza biblioteka, wrapper Rust-a.
https://www.pola.rs/

Ewentualnie Pyarrow - https://arrow.apache.org/docs/python/generated/pyarrow.csv.read_csv.html
FantaZy
FantaZy
poleca ktoś jakiś kurs/ćwiczenia gdzie można się podszkolić w operacjach na tabelach typu dataframe? chodzi mi o nabranie wprawy w joinach, groupby i innych transformacjach. Fajnie by bylo poznać jakieś zaawansowane techniki itp itd.

#python #pandas #numpy #dataengineering
  • Najlepsze
  • Wszystkie komentarze
jszafran
jszafran
FantaZy
FantaZy
FantaZy Autor
0
@jszafran: thx, dokladnie o cos takiego mi chodzi... learning by doing...
r44y
r44y
r44y
4
Mirki jakie strony polecacie do ćwiczeń Pythona oraz SQL pod analizę danych? Kursy są ok ale bez praktyki to wszystko o dupsko rozbić. #sql #python #pandas #numpy
  • Najlepsze
  • Wszystkie komentarze
WodnySzajbus
@r44y: jak panda to Corey Schafer na yt.
o.....6
o.....6
@r44y: jak płatne to datacamp.
jgruszka93
Mirki, potrzebuję pomocy z #python

Mam na koncie kilka aplikacji okienkowych w #pyqt5 - przeważnie małe proste skrypty okraszone prostym GUI do użytku wewnętrznego w firmie. Wydaje mi się, że podstawy PyQt5 mam opanowane.

Teraz robię prosty skrypt do zapisywania i analizy wielokanałowego (8-16ch) dźwięku. Do analiz wykorzystuje #numpy - ale ten element też nie stanowi dla mnie problemu.

Sama
  • Najlepsze
  • Wszystkie komentarze
benzyna_abstrakcyjna
benzyna_abstrakcyjna
nie bawiłem się z pyqt, ale same wątki nie są skomplikowane, trzeba zadbać o to żebyś dzielił między nimi, to co chcesz dzielić, być może zamiast używać "non-blocking callback streams" lepiej żebyś sam to opakował w wątek

to jest jakiś przykład:
https://www.pythonforthelab.com/blog/handling-and-sharing-data-between-threads/

nie mam za dużego doświadczenia z tym, więc może ktoś coś jeszcze napisze, ale jeśli się da, to ja bym przekazywał jakiś obiekt qt do wątku ze streamem, albo samego
skulldron
@jgruszka93: nie wiem czy nadal szukasz rozwiązania ale tak jak @benzyna_abstrakcyjna napisał(a) zainteresuj się wątkami (threads). PyQT posiada wbudowany obiekt QThread - możesz go wykorzystać. Dodatkowo jeszcze do ogarnięcia sloty i emittery - jeżeli pewne dane chcesz zaciągnąć z GUI do threada i z powrotem.
botereq
KoronaScience za darmo: kurs z podstaw Data Science w Pythonie

https://www.facebook.com/events/1094217857617583/

W trakcie kursu:
Poznasz podstawy #python, biblioteki #numpy, #pandas, #matplotlib i innych między innymi napiszemy razem prosty algorytm uczelnia maszynowego. Nauczysz się także pracować z obrazkami
nilfheimsan
#python #anaconda mam problem z importowaniem #numpy, wyskakuje mi brak dll mklinit, w sieci jest mnostwo opisow tego problemu i rozwiazan ale nic mi nie dziala, czy ktos sie z tym spotkal?
  • Najlepsze
  • Wszystkie komentarze
bohater
Mirki, jak to zapisac w #python 2.7 ? Nie ma w nim * do rozpakowywania kolekcji w argumenty :(

correlated = data.corr()['target'][lambda c: c > 0.1]
data = data[[*correlated.index]]

#pandas #numpy #sklearn
  • Najlepsze
  • Wszystkie komentarze
erwit
erwit
0
#python #numpy #scipy

Mirki, ogarnia ktos jak dziala funckcja numpy.gradient? Czytam dokumentacje, ale zupelnie nie rozumiem. Z czego ona liczy pochodne, jak tylko array sie jej podaje?
  • Najlepsze
  • Wszystkie komentarze
Z.....o
Z.....o
Po co jest ten przeciniek?

np.ones(10, )


#python #numpy
  • Najlepsze
  • Wszystkie komentarze
fefler
Próbuję zainstalować SciPy na Windowsie zgodnie z tym tutorialem i gdy chciałem wypakować przez 7-zip wypakować SciPy i wcisnałem "extract to scipy......." to wyskoczyło mi "Incorrect command line". Numpy się zainstalowało, a SciPy ma ciągle jakiś błąd przy instalacji, próbowałem zainstalować to też wcześniej przez PyCharma i też był jakiś błąd.

Ktoś ma pomysł jak to naprawić?

#naukaprogramowania #python #numpy
  • Najlepsze
  • Wszystkie komentarze
K.....o
K.....o
Mirki mam problem, jak zapisać takie równanie z #matlab w #python z użyciem #numpy ??
F = H.*G((iMin:iMax)-i+w+1,(jMin:jMax)-j+w+1);

Próbowałem tak:
F=H*G((np.arange(imin,imax))-i+w+1, (np.arange(jmin,jmax))-j+w+1)
ale nie działa niestety :<
Pomocy (╯︵╰,)
  • Najlepsze
  • Wszystkie komentarze
barani_leb
Mirki, ktoś wie jak przypisać w #python #numpy macierzy imię z listy? Mam w liście kilkanaście elementów:

['smootheddrift0', 'smootheddrift1', 'smoothed_drift2', ...]

i chciałbym aby w pętli tworzone były macierze, które będą nazywane wartościami z
  • Najlepsze
  • Wszystkie komentarze
h.....r
h.....r
Hej, mam mały problem, mam obrazek na którym znajduje jakąś krzywą dyskretną(będącą funkcją określoną na osi x) i chce sobie wyznaczyć prostą prostopadłą w każdym punkcie tej krzywej. Jak to zrobić ? Policzyć pochodną i potem jakoś dodać te 90 stopni ? Czy moze jest już jakaś metoda na to ? Za czym googlować ?

#programowanie #numpy #python #matematyka
  • Najlepsze
  • Wszystkie komentarze
a.....n
a.....n
Bo czasem matematyka jest przydatna jeżeli chcemy napisać coś bliżej optymalnego rozwiązania

http://www.tristanhearn.com/gameoflife

#python #numpy #gameoflife
  • Najlepsze
  • Wszystkie komentarze