#programowanie #java #elasticsearch #spark #bazydanych #pracait

Mamy dużą bazę danych (Oracle), z której generujemy raporty (SQL-ki z różnymi count, group by, join, where itd).

Obecnie mamy w bazie tyle danych, że takie zapytania wykonują się długo (mimo pozakładanych indeksów i optymalizacji przez speca od DB).

Chcielibyśmy
  • 17
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

może po prostu drugi server do bazki?

Powinniscie robic read replica i na niej uruchamiac takie dlugie zapytania


@MikelThief: @Myzreal: myślałem o tym na początku, żeby po prostu zrobić replikację do drugiej bazy Oracle obok. Aktualnie tego nie mamy, bo raporty, które są konieczne jeszcze obecnie dają radę się wykonywać (ale nie potrwa to długo). Jak mamy przerzucać dane obok, to zamiast takiej samej bazy wolelibyśmy coś dedykowanego pod
  • Odpowiedz
Dzięki Panowie ale udało mi sie znaleźć dość eleganckie rozwiazanie do excela ;)

Option Explicit

Sub Main()

Columns("B:B").NumberFormat
  • Odpowiedz
Czołem Mirki.
Dzisiaj nowy wpis o optymalizacji zapytań SQL na bazie Oracle.
Chwilowo odszedłem od indexów(choć do nich wrócę) i napisałem o kolejności wykonywania predykatów w klauzuli WHERE.
Tu macie linka: SQL kolejność w WHERE
Dajcie znać jak się czyta :)

Jeśli
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Cześć, chciałbym się Was zapytać, jakie konkretnie „kursy” (najlepiej z nazwy) warto wziąć pod uwagę do rozpoczęcia nauki baz danych, przy założeniu, że podstawy języka SQL i phpMyAdmin (tak wiem muszę się bardzo dobrze zaznajomić z SQL Developerem ) już ogarniam (technik informatyk)?

Wydaje mi się, że chyba warto będzie zacząć się uczyć baz danych Oracle, bo z tego, co widziałem ktoś już tutaj o tym wcześniej pisał, no i większość ofert
  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Teglo: Dev pisze funkcje, procedury, triggery lub raporty dla klientów lub do uzupełnienia funkcjonalności aplikacji. DBA (database admin) bardziej zarządza baza lub wieloma bazami i instancjami SQL server. Utrzymuje indeksy dba aby zapytania szybko się wykonywały przywraca bazę jak się wysypie i zapobiega temu przez monitorowanie za pomocą różnych narzędzi i strategii backupow /always on oraz disaster recovery. Polecam ten link do nauki od podstaw po bardziej zaawansowane
obieq - @Teglo: Dev pisze funkcje, procedury, triggery lub raporty dla klientów lub d...
  • Odpowiedz
@Judiman: co masz na mysli PowerBI to jest raportowanie BI to ogolnie ETL (przetwarzanie z kilku zrodel zeby zasilic hurtownie + raportowanie SSRS lub PowerBI albo inne narzędzia Tableau QlickView czy jakos tak)
  • Odpowiedz
  • 0
Czołem Mirki. Gdyby ktoś słyszał lub miał u siebie wakat z dla mid deva #bazydanych najlepiej #mssql i opcjonalnie możliwością ekspozycji na #bi to chętnie przyjmę takie info- #poznan lub zdalnie.

Mam ponad 7 lat xp w pisaniu zapytań w #mssql, trochę elementów administracji. Chętnie wszedłbym w BI. Angielski B2.

#pracabaza #programowanie
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Koledzy i koleżanki z #sql, #sqlserver, #bazydanych, #programowanie

Mam server sql postawiony on-prem (Microsoft SQL Server 2014 (SP2-GDR) (KB3194714) - 12.0.5203.0 Standard Edition (64-bit).

W firmie jest masa różnych klientów, którzy łączą się do kilku instancji bazodanowych na tym serwerze (5
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@inny_89 ja właśnie zapisem trace kontroluje co zmieniają mi użytkownicy zaawansowani mający dostęp do sql'a, żeby nie było ze ktoś coś zmienil a nie sam użytkownik, kilka razy mi się przydało
  • Odpowiedz
@michal0110: mozesz cos powalczyć o ile jakimś cudem masz wlaczony default trace ( o ile juz to bylo w sql 2000, w co wątpie, )

sprawdź co ci wyrzuci ten select

SELECT* FROM sys.configurations WHERE configuration_id = 1568
  • Odpowiedz
Właśnie rozpocząłem swoją pierwszą w życiu pracę, a przy okazji od razu zaczynając w "IT" (specjalnie w cudzysłowie) — no może nie tam, gdzie się widzę w przyszłości, ale myślę, że na start bez żadnego doświadczenia nie mam co narzekać — wsparcie lokalne w jednej z największych firm w Polsce i z tego, co widziałem, dużo osób było na rozmowie rekrutacyjnej, a na szkoleniu byłem tylko ja oraz kierownicy/seniorzy— czyli chyba tylko
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@peepoHappy: phpmyadmin jak się chcesz bawić w webdevelopera inaczej nie ma sensu. Oracle i Mssql korzystają z tego samego standardu ale mają swoje dialekty. MSSQL wydaje mi się łatwiejszy dla początkujących i zwykłych użytkowników i jest stosowany także w mniejszych firmach. Oracle raczej sądzę że tobjzu większe korpo jedynie i mniej materialow, ale pewnie wystarczająco. Co do stanowisk masz jeszcze support, wdrożenia i business intelligence analityk/developer
  • Odpowiedz
@dzik_pl: Przy wpisie dotyczącym UNIQUE SCAN - przykład ze SKIP SCAN. Wrzuciłem sobie to w SQL Developera (baza w wersji 12.1) z ciekawości i u mnie wyszedł FAST FULL SCAN dla zapytania (chyba do niego się odnosisz pisząc "... Teraz wyszukanie rekordów zgodnie z poprzednim zapytaniem SELECT gdzie w klauzuli WHERE mamy BAR = 50000 ..."):

SELECT
BAR
FROM TESTTABLE
WHERE
usunwreszciekonto - @dzikpl: Przy wpisie dotyczącym UNIQUE SCAN - przykład ze SKIP SC...

źródło: comment_xhcdZKINXEKfShne03nLY7ved9nP6U61.jpg

Pobierz
  • Odpowiedz
Miruaski, firebird 2.0 - musze laczyc sie z taka baza z poziomu PHP (aczkolwiek przezucilem sie juz na laczenie z node.js) + dodam, ze serwer wewnatrz firmowy (nie demon predkosci). Problem mam z tym, ze raz polecenia (zwykle select i insert) ida w kilka sekund, innym razem w kilka minut a w najgorszym wypadku bedzie timeout. I teraz nie wiem czy ta baza ma jakies deadlocki jak sobie wykonuje jakies polecania to
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej Mireczki! Mam sobie tabelę w MySQL zawierającą wszystkie słowa kluczowe wyszukiwane przez użytkowników (ponad 300 tys. rekordów). Chcę na zadane słowo kluczowe pobrać słowa, które są już są w bazie danych i są podobne do tego zadanego słowa. Używam FULLTEXTa, ale przy większym ruchu proces mysql zabija mi serwer, a same zapytania wykonują się kilkanaście sekund.

SELECT keyword, MATCH(keyword) AGAINST("white wedding shoes") AS score FROM keywords WHERE MATCH(keyword) AGAINST("white wedding shoes")
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mireczki,
W nawiązaniu do tego wpisu link powstała pierwsza część kursu odnośnie budowy indexów w Oracle.
Możecie go przeczytać tu: https://oracledev.pl/kurs-index-w-oracle/
Dajcie znać co poprawić i na co zwrócić uwagę żeby się lepiej czytało.
Kolejny wpis już jutro o wykorzystaniu i wpływie indexu na wykonywane zapytanie :)
#naukaprogramowania #sql #bazydanych #programowanie #programista15k #oracle
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

1. Czy używa się nierelacyjnych baz danych gdzieś gdzie wymagane jest bezpieczeństwo typu banki albo jakieś inne instytucje finansowe?

2. Jeżeli nie to dlaczego? Ze względu na słabszą obsługę transakcji?

#nosql #bazydanych
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@fefler: a po co w systemie bankowym, gdzie relacji jest w p---u, ma się używać i kombinować z bazą nierelacyjną, skoro są bazy relacyjne? Bazy używa się takiej jaka jest adekwatna w danym systemie/sytuacji i nijak się ma tutaj sama tranzakcyjność czy bezpieczeństwo
  • Odpowiedz