Panowie od #bazydanych #datawarehouse #hurtowniedanych
Projektuje sobie design finalnego schematu DWH, który chcemy zbudować.

I teraz tak:
- mamy naprawdę spory zespół. A sam projekt schematu finalnej DWH jest dosyć lekko mówiąc "płynny"
- działania chociaż zmierzają w dobrym kierunku to czasami są nieco nieskoordynowane
- dłuższy czas nie było mnie w firmie i jak się okazało przez ten czas trochę porzucili trzymanie się tematu "projektowania" DWH, a trochę bardziej poszli na
@inny_89: raczej nie ma tu idealnego toola i zawsze zostanie trochę ręcznej roboty. Ja kiedyś przy pomocy sqldbm.com robiłem docelowy diagram i porównywałem ze stanem faktycznym przy pomocy reverse engineera czyli importowania skryptów ddl. Dla SQL Server nawet dobrze to chodziło. Notatki dodawałem albo tam na diagramie, albo w samym projekcie (komentowanie wersji) no i osobno jeszcze to było kopiowane/komentowane w narzędziu do zarządzania projektami.
czesc. mam bardzo duzo danych w plikach csv. potrzebuje tylko czesc danych z tych plikow. jakim sposobem najbardziej poprawnie bedzie te dane wyłuskać? poczatkowo chcialem wczytac caly csv do tabeli w pandas #python i niepotrzebne wiersze pousuwac ale teraz mysle czy nie bardziej optymalnie bedzie czytanie wiersz po wierszu tych csv i dodawanie do tabeli tylko tych rekordow ktore potrzebuje? a moze jeszcze jakos inaczej? #naukaprogramowania #bazydanych
@rosso_corsa: kod jest w sumie ok, ale widzę że mieszasz polski z angielskim, co się mocno źle czyta, nawet jak jesteś patriotą.

Pisz wszystko w jednym języku będzie lepiej.

Zwróć też uwagę na standard PEP8 - gdybyś szukał pracy w Pythonie to raczej będą o to pytać, to jest standard formatowania kodu, raczej powinieneś znać, nie piszesz źle, ale chodzi o szczegóły, po hash oznaczającym komentarz powinna być spacja etc.

Napisałem
Jakie zrodla do nauki #sql polecacie na poczatek?
Chcialbym tez rozwijac sie w kierunku praca z bazami danych. W mojej branzy (analiza danych, transaction monitoring w bankach) przydaje sie znajomosc SQL, a do tego rzeczy pokrewne - znajomosci np. znajomosc #tableu. Z tableu nigdy nie pracowalem i tez szukam jakichs zrodel wiedzy z ktorych nauczylbym sie korzystac efektywnie z tego. Chce tez sie podszkolic z MS Access.
Co polecacie dla kogos
Kolejne laickie pytanie: czy jak ogarniam jezyk sql to niezaleznie od tego czy to Oracle Database, Ms Access, Tableu czy jakies inne narzedzie, to "komendy" i jezyk wszedzie jest ten sam?


@Ushguli: W ogóle tak, w szczególe niekoniecznie. Ale to już trochę bardziej zaawansowane tematy.
Mam problem z #sql, może ktoś będzie wiedział o co chodzi.

Mam serwer z SQL 2016, jest tam postawiona baza do jednego programu - ten program w identycznej wersji jest zainstalowany na serwerze oraz na laptopie.

Na serwerze otwieram program, podaję dane bazy, serwera itd, login, hasło - śmiga.
Na laptopie otwieram program, podaję dokładnie te same dane co poprzedno i wywala mi błędy typu:
- DBNETLIB ConnectionOpen, SQL server does
@rosso_corsa tak pi razy drzwi to wystarczy wyznaczyć skrajne szerokości i długości polski a później puścić grep'a na tym pliku z odpowiednim wyrażeniem.

Ale widomo że Polska idealnym prostokątem nie jest, więc z tych co zostaną (ale też nie wszystkich, tylko granicznych) dopiero później odfiltorwac precyzyjniej (np geocodem) te które uderzyły gdzieś w skrawek Ukrainy czy Czech.
Bry. Spędziłem 8 lat w #mssql (DDL, DML, optymalizacja) i z początkiem roku udało się dostać na "frycowe" w ETLach. Przejście z UoP na kontrakt B2B. Liznąłem Informatica Cloud, Dell Boomi i Informatica PowerCenter (w końcu). W tym ostatnim miałbym pracować najwięcej.

Na jakie mniej więcej widełki stawek można liczyć po jakimś roku takiej pracy? Na razie jestem na biedackiej, ale to w zamian za wiedzę. Niemniej niedługo trzeba będzie pomyśleć o
@ludzik: jak masz 8 lat doświadczenia w sqlu to nie licz sobie 1 roku doświadczenia w etl tylko np. 5. ETLowego toola można się całkiem szybko nauczyć, ale pisanie sensownych procedur by zrobić przepływ to zakładam, że twoja wartość dodana.
Helloł tagi #programowanie #programista15k #naukaprogramowania #bazydanych #docker

Próbuje połączyć się z bazką sqlową wpisując w server adres Gateway z dockera oraz port 1433. W odpowiedzi uzyskuje błąd :

A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0
Mireczki realne pytanie realna zagwozdka już nie wiem jak do tego podejść

Mam se aplikacje wszystko fajnie lota. Taka głupia aplikacja ze zdjęciami, ze znajduje zdjęcia dodane przez użytkowników wokół ciebie i w ogóle jest śmiesznie.

E no i teraz chciałabym zrobić taki dynks ze użytkownik może sobie dodać zdjęcia do ulubionych i takie tam i wysłać komuś tam CHEJ ZOBACZ NA MOJOM KOLEKCJE ULUBIONYCH ZDJENĆ.

I teraz jak to ugryźć? Jak
@Bulldogjob: Cześć, dzisiaj #pracbaza dla #support i #admin!

Zabrze
Serwisant sprzętu (pomocnik administratora) / QNT Systemy Informatyczne Sp. z o.o. / 4.2-4.7K PLN / https://bit.ly/3feouAj

Gdańsk
Network Engineer / Lufthansa Systems / https://bit.ly/2Pag0zC

Remote
Linux Administrator - Programmer / LCloud Sp z o. o / 8-16K PLN / https://bit.ly/30YIjX3

Rzeszów
Administrator Systemów Linux / nazwa.pl / https://bit.ly/2VP8Pk4

Rumia
Senior Data Network Engineer / General Dynamics / https://bit.ly/2XqOZfV

Wrocław
Telecom Specification
Pobierz Bulldogjob - @Bulldogjob: Cześć, dzisiaj #pracbaza dla #support i #admin!

Zabrze
...
źródło: comment_1596096596gNruiGIk6erHtVH4RnPAsw.jpg
Mirki, taka sytuacja, w bazie danych znajduje się tabelka zawierająca przedziały(mogą być z obu stron domknięte lub nie), użytkownik ma możliwość wykorzystując aplikacje webową napisaną w Javie(Spring), wprowadzić nowy przedział do bazy, walidacja danych powinna zablokować tą operacje jeżeli wprowadzany przedział pokrywa się z którymkolwiek już istniejącym w bazie(trzeba uwzględnić czy są domknięte czy nie). Mam w głowie dwa rozwiązania tego problemu. 1. Duży select sprawdzający czy baza zwróci jakikolwiek rekord którego
Ma być to optymalne czy nie? I pytanie, jaką ilość przedziałów przewidujesz?
Bo najlepiej takie rzeczy to robić właśnie selectem na bazie, i zwrócić wynik do springa.
Nie ma sensu pobierać wszystkich przedziałów żeby tylko sprawdzić czy już on istnieje.
Dodatkowo obliczenia zrzucisz na bazę danych, więc sama aplikacja nie będzie obciazona.
Czy silnik sqlite będzie też działał na pliku z rozszerzeniem .sql (odpowiednio zmodyfikowanym) czy musi być .sqlite?

Robię desktopową apkę, która będzie korzystać z sqlite. Muszę tam zaimportować sporawą bazę na 1.5-2 mln rekordów z sql. Najpierw wrzuciłam wszystko w DB Browser Sqlite, a potem eksportowałam do to jednego pliku z rozszerzeniem .sql (nie było możliwości eksportować w innym formacie). I nie wiem czy tak zadziała, czy próbować grzebać dalej.

#sql #
via Wykop Mobilny (Android)
  • 0
@salamander-kwarcowy: Ostatecznie jeżeli masz dobrze zrobione repozytoria w swoim sofcie to możesz zrobić migracje z bazy do bazy przez niego. Nie jest to pięknie rozwiązanie ale powinno zadziałać dla prostych projektów.
Czy jest tu osoba, która zajmuje się bazami danych i dysponuje sprzętem, który obsłuży bazę danych wielkości kilkudziesięciu GB?
Dostawca towaru udostępnia mi na swoim ftp pliki w formatach .dat i .txt
Należy z tych plików stworzyć bazę danych i wyeksportować ją do plików csv w celu importu do sklepu internetowego.
Pliki są wielkości od 350MB do niecałych 6GB, łącznie ok. 20GB.

Szukam osoby, która jest w stanie to zrobić.
Dysponuję dokumentacją
Jest tu jakiś mirek wymiatający w #elasticsearch ?

Potrzebuję znaleźć wszystkie eventy w zakresie np. od 2020-02-02 do 2020-03-01
Event ma taki schemat:

schedule: {
availability_period: [{from: "2020-01-01", to: "2020-01-31"}, {"from": "2020-03-01", "to": "2020-03-30"}],
available_days_of_week: [{"3": ["15:00"], "4": ["12:00", "17:00"}]
excluded_dates: "2020-03-05"
}

Jak uwzględnić wszystkie te pola w jednym query? Da się to w ogóle zrobić? Jedyne na co wpadłem i działa to brute-force który robi tyle bool query co dni
@mordechaj_blumstein: czyli to nie tylko data, która jest w przedziale i nie jest excluded, ale też dzień tygodnia musi się zgadzać? Pokręcone mocno. Rozbudowanie skryptu i jego wydajność to już trade-off i zależy jak często będzie wykonywany.

Może rozwiązaniem byłaby zmiana indeksów? Każdy schedule miałby swój indeks i routowanie byłoby w aplikacji.