[MechanicznaPitaja]

#pracbaza #sql #programowanie
Mirki mam problem. Mam dosyć długie zapytanie sql na ponad 400 linijek, składający się z paru withów na początku.
Jak się zawężę w wherze na jeden identyfikator to wszystko jest spoko. Ale jak kompiluje dla całości (ponad 100 tys identyfikatorów), bez żadnych zmian w kodzie, to dla tego jednego identyfikatora mi gubi 2 atrybuty. No jak?!

[buchowo]

Nie masz tam jakichś problemów z typami danych. Tzn zbierasz z kilku kolumn z różnymi data type?

[wicherq]

@MechanicznaPitaja rozłóż zapytania na czynniki pierwsze

[MechanicznaPitaja]

@wicherq jak sprawdzam kod czesciami to zawsze te dwa atrybuty są, i jest ok. Problem jets na całości ( ͡° ʖ̯ ͡°)
@buchowo łączenia są po jednym data type, ale np. długość tekstu w kolumnie (identyfikatora po którym łączę) waha sie miedzy tabelami. Ale użyłam Trima i nic to nie dało.
Próbowałam też puszczać zapytanie bez hintów, bo używałam paralela ósemke, myślałam że moze się przez

[wicherq]

@MechanicznaPitaja poczytaj jak działają withy, zgaduje, że to przez nie

[c.....s]

@MechanicznaPitaja: identyfikator? to jakaś nowa nazwa rekordu?

[nad__czlowiek]

@MechanicznaPitaja: dlaczego nie używacie elasticsearcha?

[MechanicznaPitaja]

@cohontes powiedzmy, że to identyfikator produktu, więc np "1000" odpowiada produktowi A, "1001" odpowiada produktowi B i tak dalej, aż do produktów nr pierdyliard. No i między tabelami łączę po tych unikalnych identyfikatorach, zawsze mam jeden wiersz per identyfikator

[MechanicznaPitaja]

@nad__czlowiek nie słyszałam w ogóle o tym

[nad__czlowiek]

@MechanicznaPitaja: w komercyjnych projektach nie używa się w ogóle SQL do wyszukiwania danych, te rzeczy które chcesz by były wyszukiwalne z bazy danych SQL - wybierasz je i wrzucasz do elastica (silnik wyszukań) i tworzysz przeszukiwalny indeks

Zapytania wyszukujące dane z elasticsearcha są kilkadziesiąt razy szybsze niż wyszukiwanie w SQL ze względu na architekturę elasticsearcha (odwrócone indeksy, rozproszenie, skalowanie, równoległość itd)

[MechanicznaPitaja]

@nad__czlowiek brzmi fajne, dlatego pewnie obstawiam brak funduszy na to :D

[przecietnyczlowiek]

architekturę elasticsearcha (odwrócone indeksy, rozproszenie, skalowanie, równoległość itd)

@nad__czlowiek: ale każdy rdbms to już przecież też ma. I w przetwarzaniu danych nie chodzi tylko o wyszukanie sobie szybko po tekście.

No i w komercyjnych projektach używa się SQLa...

[nad__czlowiek]

@przecietnyczlowiek: ale nie tylko wyszukiwanie pelnotesktowe, nawet glupie wyszukanie po ID jest szybsze znacznie

[buchowo]

@MechanicznaPitaja: spotkałem się w przeszłości z podobnym przypadkiem, ale ciężko wróżyć z fusów. Rozbij zapytanie na mniejsze podzapytania i zamiast WITH np użyć tabel tymczasowych by znaleźć w którym miejscu „znikają” dane.

[przecietnyczlowiek]

@nad__czlowiek: jeżeli założę indeks na tym id to co więcej es zrobi?

[nad__czlowiek]

@MechanicznaPitaja: a wracając do pytania: na pewno na joinach ci znikają dane, złe użycie LEFT/INNER/RIGHT joinów np jak masz innej joina i gdzieś jest null to ci zniknie

[MechanicznaPitaja]

@nad__czlowiek ale poczekaj, jakby mi dane znikaly na łączeniach, to przy puszczeniu całego zapytania z ograniczeniem na ten jeden identyfikator też nie miałabym danych, a mam. Nie mam dla niego danych, jak puszczam zapytanie dla całego zbioru i potem go wyszukuje - zupełnie nic w kodzie nie zmieniam, tylko zakomentowuje linkijke z wyborem identyfikatora