#python #programowanie #SQL #sqlserver Piszę sobie skrypt który rob... (@login_zajety_sic)

#python #programowanie #sql #sqlserver

Piszę sobie skrypt który robi ok. 1000 insertów, w przypadku domowego laba takie zapytanie trwa chwilę ale skrypt docelowo będzie uruchomiony na produkcji gdzie nie ma tak szybkiego połączenia do bazy i chciałbym sobie zasymulować takie środowisko. W jaki sposób mógłbym zasymulować takie produkcyjne środowisko?

- skrypt w pythonie który używa pyodbc
- docker z SQL Server Express postawiony na Synology.

Najlepsze
Wszystkie komentarze

Tank1991

Tank1991 4 l.

możesz za pomocą time.sleep() zasymulować czas oczekiwania na odpowiedź

@Przemosz: weź mu nie podpowiadaj lepiej, nikt w żadnej poważnej firmie tak nie robi, z asyncio tez mozesz go ciekawie wpakowac jesli tam sekwencja idki nadaje np

GaiusBaltar

GaiusBaltar 4 l.

@login_zajety_sic: Jeśli możesz, poślij to w jednym zapytaniu, tak aby nie było roundtripa pomiędzy każdym insertem a Twoim kodem. Wtedy prędkość połączenia będzie miała niewielkie zdarzenie, o ile nie insertujesz paruset mega w każdym zapytaniu.

Tank1991

Tank1991 4 l.

@login_zajety_sic:

skrypt iteruje po kazdym pliku w folderze i wysyla pojedynczego inserta

lol to zapisz sobie co jest do wlozenia w inny plik nawet zamiast do bazy a potem naraz z tego pliku do bazy

Tank1991

Tank1991 4 l.

W jaki sposób mógłbym zasymulować takie produkcyjne środowisko

@login_zajety_sic: powinienes miec cos takiego jak preprodukcja /stage - czyli odtworzone srodowisko prod bedace jak najblizej warunkow prod ale wiadomo - po kosztach i tam to odpalac

jak nie masz to stawiasz, jak nie mozesz postawic to znaczy ze jestes w januszeksie i nie ma co tego sprawdzac

login_zajety_sic

login_zajety_sic Autor 4 l.

@GaiusBaltar: No właśnie dumam nad tym żeby to posłać jako jedno duże zapytanie bo obecnie skrypt iteruje po kazdym pliku w folderze i wysyla pojedynczego inserta, dumam nad tym aby skrypt zebral wszystkie inserty do jednego query na koniec iterowania.

Przemosz

Przemosz 4 l.

@login_zajety_sic: Jakbyś miał/uzyskał informacje ile zajmuje pojedynczy insert to możesz za pomocą time.sleep() zasymulować czas oczekiwania na odpowiedź od bazy danych. No oczywiście nie musze wspominać że tu aż się prosi o await asyncio.sleep(), dzięki czemu w czasie oczekiwania na odpowiedź od bazy danych mógł byś już robić kolejnego inserta

login_zajety_sic

login_zajety_sic Autor 4 l.

@Tank1991: Tak właśnie teraz zrobiłem, zbieram każdy insert do pliku (a raczej do zmiennej) i na koniec wywołuje zapytanie.

@Przemosz: @Tank1991: Nie no, w sleep nie bede się bawił, nie chce sztucznie spowalniac skryptu.

Saly

Saly 4 l.

@login_zajety_sic: co do polepszenia wydajności to oczywiście jedno zapytanie robiące wszystko. Jak zapytań musi być wiele (np. bazy mają limity) to odpal te inserty w transakcji

Tank1991

Tank1991 4 l.

@login_zajety_sic: no i gitówa, najlepsze rozwiazanie problemu to zawsze brak problemu

login_zajety_sic

login_zajety_sic Autor 4 l.

@Saly: Wiesz, ja tu się spuszczam nad tym SQL ale tak naprawdę może się okazać że wystarczy aby skrypt wypluł CSV, ale że nie sprecyzowano do czego ma wypluwać skrypt to robię opcje aby skrypt wypluwał do CSV jak i do bazy.

Aktywne Wpisy

nobody_here

nobody_here +16

5 godz. i 45 min temu

Dlaczego w Polskich szkołach nie mogą zabierać telefonów na wejściu i oddawać uczniom po godzinach szkoły tak jak to jest w innych krajach, może procent n----------a mózgowego by zmalał?

baemaj

baemaj +8

35 min temu

wykopki mnie nie zawodzą, tym razem powiadomienia i wiadomości z wyzwiskami bo siostra zdała prawo jazdy na motor. XD
się w-----e to się nauczy, ona - nie ja.
miłego dnia :*

Aktywne Wpisy

Aktywne Znaleziska

Big Mac za 18 dolców? AI ustaliło ceny; McDonalds pozwany

1000zł czynszu za kwarianię w MSN. Najemca wyłoniony bez przetargu.

Ustawa o zabezpieczeniu społecznym artystów została przegłosowana.

Harcerze w Białej Podlaskiej sami remontują stary dom na harcówkę.

Sejm przegłosował ustawę o cenzurze internetu

Popularne tagi