@michoopro: https://aatinegar.com/wp-content/uploads/2016/05/Kimball_The-Data-Warehouse-Toolkit-3rd-Edition.pdf

@michoopro: jak kolega wyżej podał, jeśli projektowanie hurtowni, to tylko biblia od Kimballa. Generalnie nie polecam się uczyć niczego po polsku w IT, od razu po angielsku. Więcej materiałów, znasz od razu słowa kluczowe, które czasem nie mają dobrego tłumaczenia na polski. Co do samej książki to jest co prawda napisana dość ciężkim językiem i momentami czyta się ją ciężko i nudno ale otwiera głowę w kwestii hurtownii i jak sobiePokaż całość

@michoopro: często trzeba być wieczorem na callach. A tak to tylko plusy ;)

@michoopro: trochę jest więcej czarowania na jdg z różnicami kursowymi, więc dobra księgowa się przyda

@ode45: Kimball

@ode45: Jeśli zacząłeś od Russo i Ferrari to Kimball będzie absolutną klasyką - jak doradza @matti05 . https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/ .
ETL Toolkit trochę się zestarzał ale Dimensional Modelling cały czas daje radę.

Jeśli interesujesz się bardziej unowocześnionym podejściem to Star Schema Adamsona lub Agile Data Warehouse Design Corra przy czym ta druga pozycja skupia się bardziej na metodyce zwinnej dostarczania hurtowni. Tylko one i tak mają korzenie (a nawet i pnie ;)Pokaż całość

@coldsurgeon25: zacznij dokumentacje od podania telefonu do osoby, która robiła hurtownię to zaraz sama się
napisze

@coldsurgeon25: Taktyk. Jak znajdziesz coś wartościowego, to dawaj znać :)

Kimball - data warehouse toolkit

@coldsurgeon25: Zatrudnij się w restauracji #pdk

@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu jużPokaż całość

@inny_89: https://stackoverflow.com/questions/38487667/overwrite-specific-partitions-in-spark-dataframe-write-method

Ustawia się to jedną linijką w configu:

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")

Wybacz też wysoki poziom abstrakcji przy opisywaniu założeń. :)

@inny_89: spoko, generalnie nie zajmuję się hurtowniami jako takimi i nie mam generalnie zbyt dużej wiedzy o pracy z nimi, za to coś tam technicznego ze sparka mogę pomóc ( ͡° ͜ʖ ͡°)

@inny_89: może ty data lake wdrażasz tylko jeszcze tego nie wiesz :D ?

@inny_89: raczej nie ma tu idealnego toola i zawsze zostanie trochę ręcznej roboty. Ja kiedyś przy pomocy sqldbm.com robiłem docelowy diagram i porównywałem ze stanem faktycznym przy pomocy reverse engineera czyli importowania skryptów ddl. Dla SQL Server nawet dobrze to chodziło. Notatki dodawałem albo tam na diagramie, albo w samym projekcie (komentowanie wersji) no i osobno jeszcze to było kopiowane/komentowane w narzędziu do zarządzania projektami.

@batek254: Kimball

Bazę mam Oracle

@mk321: może apex?

@mk321: W raportach najwięcej czasu przede wszystkim tworzy się na logike i pracę nad przekształceniami danych. Jak będziesz chciał odejść od PowerBI to i tak cały "know-how" raportu masz gotowy, i przeniesienie tego na inny soft to będzie chwila roboty tylko. No i PowerBI wspiera skrypty Python/R ;-)
https://www.datacamp.com/community/tutorials/data-visualisation-powerbi#r_and_python

@admin_admin: A co chcesz osiągnąć? Chcesz po prostu mieć Dashboardy z Power BI na obecnych strukturach danych (kostkach)? Bo wtedy mógłbyś użyć Live Connection do SSAS ale to niestety wymaga by Analysis Services było Enterprise dla 2012, 2014 lub 2016, 2017 Standard, wiec musielibyście podnieść wersje. Ale wtedy każdy w Power BI Desktop mógłby darmowo łączyć się do kostek i tworzyć z nich dashboardy, a z Power BI Pro miałby danePokaż całość

@madry_i_mieciutki: opiszę ci jeszcze typy wdrożeń pod Power BI z jakimi miałem do czynienia:

1) to pierwsze, czyli hurtownia i kostka OLAP (wielowymiarowa) stoi na Analysis Services (2012, 2014 Enterprise albo 2016, 2017, 2019 Standard). Wtedy możliwe jest Live Connection. Z Power BI Desktop za darmo a jak ktoś chce mieć apkę na telefonie albo PowerBI.com to musi mieć Pro (per user) by korzystać. Uprawnienia są po stronie serwera OLAP. DaPokaż całość

@FishyGuy: Jeśli interesuje Cię "prawdziwe programowanie" to BI nie jest takowym, zdarzają się ale mało jest ofert gdzie zajmujesz się tylko i wyłącznie pisaniem kodu. Co Cię czeka w tej branży to tworzenie raportów i kontakt z klientem albo analitykami, raz mniej, raz więcej, zależy od projektu i profilu firmy. Jeśli wystartujesz w firmie, która zajmuje się typowymi wdrożeniami dla innych to spotkasz się też z analizami podczas których będziesz siedziałPokaż całość

@FishyGuy: imho spokojnie mozesz zostać w środowisku SQL Servera. Tu już jest wiele opcji. Na BI najlepiej na początku być fullstackiem czyli liznąć wszystkiego po trochu tj. raportowanie (SSRS, Power BI, Excel, customowe mniej znane rozwiązania), ETL (SQL Server + SSIS, Azure Data Factory, ew. jakiś framework/DWA toole na to), tworzneie kostek OLAPowych (Analysis Services) Sama teoria dotycząca tworzenia hurtownii danych też jest potrzebna o ile nie planujesz zostać zwykłym klepaczemPokaż całość

@inny_89: czyli opinie ekspertów są zgodne

@Trent:
No to w czym problem?

Przykładowe raporty i analizy.

Ile średnio/max zamówień dziennie.
Ile średnio sztuk towaru w zamówieniu.
Ile paczek dziennie.
Ile dni minęło od ostatniej wysyłki poszczególnych SKU.
Ilu unikalnych klientów codziennie zamawia.
Ile różnych SKU jest na stanie.
Analiza ABC.
Średni czas realizacji zamówienia (od wysłania zlecenia kompletacji do gotowej do odebrania paczki).
Jaki procent wysyłanych sztuk wraca jako zwroty.
Które SKU są zwracane najczęściej.

@mk321: Spark jest popularny w światku jvm i rozwijany, teraz cisną bodajże structured streaming, generalnie do etl i ml się nadaje

Zeppelin, hmm... Też jest rozwijany chociaż nie widzę, żeby w jakimś szybkim tempie, wizualizacje, zależnie jak skomplikowanych potrzebujesz, są raczej dosyć proste, nie ma zbyt zaawansowanych opcji tworzenia wykresów, do tego lepiej użyć innych narzędzi, D3, matplotliby, ggploty czy co tam jeszcze jest w data analitycs popularne, ja używałem vegas-vizPokaż całość

@Dawidk01: to się dowiedz co masz zrobić, skoro to projekt na studia... Do czego ci ten ETL się przyda, skoro ty nie wiesz co masz zrobić?

@Rokuto: To się SSDT nazywa. Ten dodatek.

@Lunder: Link Może pomoże.

@Lunder: nie pamiętam z czego dokładnie korzystałem (ale chyba była to więcej niż jedna instrukcja), ale może ten link będzie pomocny: http://pentaho-bi-suite.blogspot.com/2014/01/installation-of-pentaho-501-ce-with.html

@jarpen1234: To parametr? WHERE id = $P{timeId}

10gb ramu też było za mało na Windows 8.1. Albo coś innego się sypało. Polecam 2012 :)