PiotrokeJ
#python #sqlalchemy
#programowanie

Mam aplikację we flasku gdzie przerzucam dane z jednej bazy danych do drugiej. Niektóre zapytania zajmują 2 sekundy a niektóre nawet i 2 minuty (z tym akurat walczę i staram się zoptymalizować). Po 60 sekundach zawsze dostaje 504 time out z ngnixa. Niestety zauważyłem że podczas testowania endpointów (ponad 50) dostaje coraz częściej błąd:
TimeoutError: QueuePool limit of size 5 overflow 10 reached,
  • Najlepsze
  • Wszystkie komentarze
Tank1991
@PiotrokeJ: w takich akcjach to juz celery sie uzywa
m_bielawski
m_bielawski
@PiotrokeJ: wyrzuc te taski do jakiegos workera. Moze byc celery, ale jest troche prostszych rozwiazan. Na pewno wykonywanie takich ciezkich rzeczy w watku web servera jest slabym pomyslem.
PiotrokeJ
Mam pewną zagwozdkę z filtrowaniem danych które pobieram z bazy za pomocą sqlalchemy. Mam zbudowany model tabeli, jestem w stanie wyciągnąć dane z bazy. Jednak problem pojawia się wtedy kiedy dla niektórych tabel musze pobrać dane z jakaś flagą np. TRACKFLAG = "X".

Niestety każda tabela ma inny filtr. Normalnie bym wykonał query lambda.

queryfilter = lambda query: query.where(NAZWATABELI.NAZWAKOLUMNY == 'X')
  • Najlepsze
  • Wszystkie komentarze
L.....k
L.....k
@PiotrokeJ: nie rozumiem totalnie o co pytasz

Czemu query_filter ma być nieczytelną lambdą zamiast listą filtrów?

Nie mam SQLAlchemy pod ręką, ale obczaj to
https://stackoverflow.com/a/59481316
PiotrokeJ
Muszę przerobić troche projekt oparty na flasku i sqlalchemy. Mamy endpoint gdzie wsadem jest nazwa klasy(tabeli) która ma zostać wywołana. Jednak z tej klasy muszę pobrać zmieną _tablename bo to jest moja domyśla nazwa tabeli. Żeby to zrobić muszę wywołać plik gdzie trzymam te klasy(tablemodels) i podać nazwę klasy(Loc) - tablemodels.Loc.tablename_ <- takie coś zwraca mi to o co mi chodzi. Teraz pytanie jak zrobić żeby Loc
  • Najlepsze
  • Wszystkie komentarze
Bpnn
Bpnn
Bpnn
1
@PiotrokeJ:
Zawsze można evalem zrobić, ale może znajdziesz jakieś lepsze rozwiązanie.

class Abc:
value =
CancerLight
@PiotrokeJ: kolego, wiesz jak działa eval? Wiesz, ze w niego można wstrzyknąć każdy pythonowy kod i r------c serwer?
Rajtuz
Robię sobie proste filtrowanie gier w tabeli. Na stronie mam trzy pola: minrating, maxrating i genre (+ przycisk "submit"). Jeżeli wypełnię wszystkie 3, to filtrowanie działa i url wygląda np. tak:

[http://127.0.0.1:5000/test?rating_min=25&rating_max=60&genre=RPG](http://127.0.0.1:5000/test?rating_min=25&rating_max=60&genre=RPG)
Natomiast jeżeli ominę chociaż jedno pole (np. minrating), to wtedy nie wyszukuje mi się nic, mimo, że pozostałe kryteria mają
  • Najlepsze
  • Wszystkie komentarze
Henryhenry
Henryhenry
@Rajtuz: spoks

PS. sorry za tych trochę nerwów, bardzo nie lubię gdy ktoś odpowiada że nawet nie wypróbuje sugestii z wątku, a początkowo tak właśnie odebrałem Twoją wypowiedź. Powodzenia z projektem!
Henryhenry
Henryhenry
@Rajtuz: a nie lepiej to od strony backendu naprawić? Żeby tam przyjmował domyślne wartości w przypadku nieprawidłowych?
Awerege
No hej.

Mam pewien problem z combem Flask + SQLAlchemy +Postgres.

Mam sobie modele zdefiniowane w SQLAlchemy:

post_tags
  • Najlepsze
  • Wszystkie komentarze
IamHater
Dzięki wielkie za ewentualną pomoc.


@Awerege: protip: jak wrzucisz kod na jakiegoś pastebina to może się ktoś zastanowi, w takiej formie głowa boli od patrzenia
Awerege
Awerege Autor
0
grajlord
Mirki z #python - jak komunikować się z bazą danych w kilku wątkach, używając sqlachemy?
Mam obiekt klasy A odpowiadający rekordom w tabeli a, z relacją one-to-many do rekordów z tabeli b (obiekt klasy B). W głównym wątku aplikacji dokonuję operacji na obiekcie A, a w oddzielnym wątku (threading.Thread) tworzę nowe obiekty B, podając im jako argument obiekt A z głównego wątku (żeby zachować
  • Najlepsze
  • Wszystkie komentarze
grajlord
Siema mirki z Python, jaki jest preferowany/właściwy sposób budowania dziedzina dla klas ze sqlalchemy po klasach spoza tej biblioteki?
Chciałbym, aby klasa będąca modelem ORM ze sqlalchemy (powiedzmy User), dziedziczyła po klasie nie będącej takim modelem, powiedzmy Innaklasa z jakiegoś innego modułu. Zamysł jest taki, że metody z Innaklasa operują na danych które wyciągam z SQL używając klasy User. To pozwala na używanie klasy Innaklasa niezależnie od bazy danych.

Problem
  • Najlepsze
  • Wszystkie komentarze
Spook
Czy istnieje podobna biblioteka do pythona? Ktoś coś?

Link: http://fractal.thephpleague.com/transformers/

#programowanie #python #sqlalchemy #php