wpisy

Wszystkie

Archiwum

ujdzie
ujdzie
  • 0
Mam tabelę prostych wpisów, ma ~1GB. Porobione indeksy, na localhoście wszystko śmiga jak głupie (poniżej 0.1s), a na dzielonym VPS-ie klęka zupełnie i pierwsze zapytanie robi w 15-20s (powtórne już szybko)... po czym po chwili i tak chyba gubi ten cache i zamula od nowa.

Warunki w zapytaniu to published = 1 AND deleted = 0 AND category IN ('costam co się zmienia') + order by id desc, mają założone indeksy osobno na każdą kolumnę, jak i na ww. warunki razem

OCB? Za mało ramu? Jakieś opcje można pozmieniać? Jakieś pomysły? Mam wrażenie, że sortowanie po ID (zwykły int) tu sporo miesza

Teraz
januzi
januzi
  • 0
@ujdzie: Mysql zna. W nawiasie może być select, albo lista wcześniej pobranych. I jeśli coś będzie wyłączane/kasowane tak na amen, to lepiej przenieść to do osobnej tabeli.
  • Odpowiedz
lukasj
lukasj
  • 0
@rico91: ewentualnie: mogę dać tutaj: where allegroitem.clientId = 1005 OR allegroitem.clientId is NULL.

Zadziała poprawnie dla towarów niewystawionych na żadnym koncie, lub wystawionych tylko na koncie o ID 1005. Ale jeżeli towar jest wystawiony na koncie o ID 1000 to co wtedy? Nie znajdzie go jako pusty (niewystawiony). Jak zrobić, żeby tam pojawiły się nulle? Ewentualnie dodać jeszcze jeden JOIN kiedy allegro_items nie jest null? Tylko jak coś
  • Odpowiedz
lukasj
lukasj
  • 0
@rico91: Już wiem ( ͡° ͜ʖ ͡°)

wystarczy dać LEFT JOIN allegroitems ON ... AND clientID = 1005, wtedy łączy tylko to albo daje null

niestety minus taki, że będę musiał zrezygnować z widoku i po prostu wykonywać zapytanie wszędzie, ale powiedzmy że lepsze to niż duplikowanie rekordów albo przerabianie paginacji... Chyba że jest jakiś inny sposób, żeby jednak ten widok zostawić?
  • Odpowiedz
E.....e
E.....e
  • 3
@Metylo: CTEs, typy joinów (więcej niż 4), window functions, union/union all/intersect/except, dlaczego select * jest złą praktyką, deduplikacje, + jako data analyst to pewnie będziesz głównie odpytywał bazę, ale możesz poczytać o twierdzeniach DML/DDL, co to star schema etc.
  • Odpowiedz
michoopro
michoopro
  • 2
Cześć, czy znacie jakieś strony, gdzie można się bezpośrednio zatrudnić w IT #bazydanych #hurtowniedanych #sql w kraju, który płaci w #usd - pewnie głównie USA?
Czy kojarzycie firmy działające w Polsce, które nie przeliczają na PLN tylko dają pensję w $ ?
Czy są jakieś problemy np. z US gdy mieszka się w #polska a pracuje dla #usa?
#
ShpxLbh
ShpxLbh
  • 1
szybkie pytanie! chciałbym z 4 tabel sql wydobyć podstawowe informacje (poprzez grupowanie by nie duplikować wierszy)
oraz dodać do widoku 2 kolumny zliczające COUNT
1 z nich filtrowałaby wyniki z id 16
druga z nich filtrowałaby wyniki z id 8

jak to zrobić w widoku? mogę zrobić tylko 1 filtr i nie mogę dojść do tego jak to zrobić.
janek_
janek_
  • 1
@ShpxLbh: racja, tam w czwartej linii miało być po prostu , COUNT(1) as ile_wierszy_wszystkie - przy przeklejaniu mi się pokręciło (tak to jest jak się piszę sqla na sucho)
  • Odpowiedz
Wynoszony
Wynoszony
  • 5
Hej Wariaciki, czy jest możliwość ściągania cen produktów z jakiejś bazy danych tych sklepów? Albo generowanie ich z gazetek?
Tak żeby móc mieć wszystkie produkty, ich aktualne ceny, promocyjne też. Mam pomysł na biznes w związku z tym, a konkretnie stworzenie aplikacji mobilnej na ios/android. Zapraszam kumatego developera, to zrobimy razem polskiego unicorna. ( ͡° ͜ʖ ͡°)
#programowanie #bazydanych #dane #analizadanych
Wynoszony - Hej Wariaciki, czy jest możliwość ściągania cen produktów z jakiejś bazy ...

źródło: comment_1664898063cbqlVmVU2z7eNu0F1JSLUd.jpg

Pobierz
Burkhard
Burkhard
  • 1
@Wynoszony: Jest taka stronka z cenami paliw, gdzie w teorii kazdy kto zatankowal na danej stacji moze potem wpisac ze zaplacil X danego dnia za litr danego paliwa.

Danych zebranych od klientow masz minimum bo w sumie to 1 liczba, lacznie sledzi sie tam moze 4 rozne rodzaje paliwa, wiec w pornwniau do Twojego pomyslu jest to smiesznie malo, a i tak chyba nigdy mi sie ta cena nie zgadzala
  • Odpowiedz
karhar
karhar
karhar
via Wykop Mobilny (Android)
  • 0
Czy istnieje wyszukiwarka plików na komputer która działa tak dobrze jak Google? W sensie żeby działała szybko, przeszukiwała nazwy plików i zawartość różnych rozszerzeń. Może jakaś łatwa możliwość podglądu bez otwierania plików. Podejrzewam że komputer musi zostać przeskanowany i różne teksty są zebrane do jakiejś bazy danych.
Wydaje się to do zrobienia np. w pythonie ale może istnieją już podobne projekty?

#programowanie #informatyka #komputery #internet
MrFisherman
MrFisherman
  • 1
Jaki jest najbardziej efektywny sposób sprawdzania jakie są różnice między tym co w bazie a miedzy tym co przychodzi z api? Może ktoś rzucić jakiś buzzword?

Chodzi o sytuację kiedy na bazie jest np. 10 000 rekordów w kilku tabelach i codziennie odpytuje się zewnętrzne api po te dane, jak wychwycić co trzeba będzie zaktualizować, co nowego dodać, co usunąć, a co przywrócić (poprzez soft delete)? Póki co pomysłem jest dodanie hash
janek_
janek_
  • 0
@MrFisherman: nie rozumiem, co masz na mysli z tym opieraniem się na id

robisz coś w stylu:

MERGE docelowa_tabela as target
using ta_nasza_tabela_tymczasowa_z_danymi_z_api
  • Odpowiedz
Spofity
Spofity
  • 0
django + postgresql
Mam model, dodałem do niego pole searchvector oraz w migracji trigger który zapisuje słowa po których szuka (wektory?) z pola name.
No i jak w views podpiąć szukanie wg tych wektorów? Obecnie mam Model.objects.filter(search_vector=query) i nie działa to do końca dobrze. Czasem wpiszę całą nazwę (pole name) która ma 5 słów i nie wyszuka, a już tylko po 3 słowach wyszuka - mimo że pole search_vector
  • Odpowiedz
AnonimoweMirkoWyznania
AnonimoweMirkoWyznania
  • 3
1a6e1 9r33n: Wystarczy wpisać SQL w google i kliknąć "szukaj",ale nie - lepiej na wykopie na anonimowych pytać... Naściemniał taki jak ty że umie SQLa i teraz kombinacje... Jak ja napiszę,że 1/10 czy 3/10 (w sumie to nie wiem jak to ocenić i tyle - 80% z tego teściku W3 mi wychodziło ale jest jeszcze optymalizacja zapytań itd itp) to nikt nawet nie odpowie a ty pewnie na lajcie że znasz SQLa i to że znasz go "dobrze" napisałeś co ?

Dobra,poratuję oczywiście - baza pod oracle ma swoją specyfikę,i co z tego ? Większość SQLa taka sama.Pirackich co prawda książek - ale znajdziesz od groma po chomikach i nie tylko. Do wyboru do koloru,a po angielsku to paaaanie - masz nawet pirackie książki do certyfikacji (wystarczy szukać pod "1Z0-071" )

Oprócz doradzonego chomika łap coś bardziej user friendly:
  • Odpowiedz
Spofity
Spofity
  • 0
Chce zrobić export dwóch tabel do dwóch plików .csv. W jednej tabeli jest średnio 5 mln rekordów. Chciałem zrobić COPY table TO '/path/' WITH DELIMITER ',' CSV, ale nie dało rady bo po kilku minutach jest timeout.

Napisałem w pythonie na szybko skrypt który eksportowałby dane do csv dzieląc dane według daty (miesiąca i roku = result_mm-yyyy.csv)

Jednak tutaj tez występuje timeout. Co byście poradzili?

Powiązane tagi