ludzik
#bazydanych
W czym teraz mirki się szkolą? Mam dużo expa w #tsql i #etl. Mało technologii chmurowych czy ai. Pracuję zazwyczaj dla korpo. Zastanawiam się co warto sobie teraz przyswoić. Jakiś lakehouse? Czy tylko i wyłącznie ai? Pozdro z fartem
0
  • Najlepsze
  • Wszystkie komentarze
NitrousOxide
@ludzik: python, pyspark, dbt, duckdb i liznij jednak trochę chmur. Ale jeśli korpo to na spokojnie :) A w ogóle to na reddicie na r/dataengineering jest dużo podbnych postów i dużo pomocy.
1
mirko_anonim
✨ Obserwuj #mirkoanonim
Cześć
#analizadanych #powerbi #etl
Mija mi 6 rok doświadczenia w branży. Pracowałem jako konsultant wdrożeniowy ERP, Administrator systemów dziedzinowych, Team Leader, czy IT PM. Mam chęć powrotu bliżej technologii - lubię pracę z aplikacjami czy bazami danych, gdzie efekt jest namacalny.
Przez te kilka lat przewinęło się kilka tematów, które zgłębiłem: relacyjne bazy danych w postaci: T-SQL, PL/SQL, PostgreSQL, kilka różnych ERPów (XL,SAP,IFS), systemy
0
  • Najlepsze
  • Wszystkie komentarze
WyjmijKija
WyjmijKija
@mirko_anonim: ja bym brnął w PO/PM
0
Sad_poyato
Sad_poyato
Treść przeznaczona dla osób powyżej 18 roku życia...
0
ludzik
Czołem Mirki. Ma ktoś może chrapkę na cash za polecenie? Kończy mi się projekt i coś by się zmieniło. Stack to #etl #mssql (w tym jestem od ponad 10 lat) #informatica, czasem #boomi i #talend Ostatnie 3 lata robiłem migracje do #salesforce
Mam #b2b jeśli trzeba elastyczności. Jak coś to #pw Może być dla zagramanicy,
1
przecietnyczlowiek
przecietnyczlowiek
Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
3
  • Najlepsze
  • Wszystkie komentarze
peoplearestrange
Treść przeznaczona dla osób powyżej 18 roku życia...
0
poznaniak
Eurotel S.A. - dokąd to leci? No nie powiem, aż takich wzrostów się nie spodziewałem w tak krótkim czasie.
#gielda #etl #eurotel
0
printHelloWorld
printHelloWorld
Cześć,

Czy ktoś z was miał okazję pracować z technologią hadoop w kontekście zadań związanych z tematyką Machine Learning ? jeśli tak to jak wyglądał proces tworzenia modeli, obróbki danych od początku rozpoczęcia ciągu technicznego ?

Jak rozumiem Hadoop to jest jakby to powiedzieć ogromny magazyn na przechowywanie dosłownie różnych danych z różnych systemów dane te mogą być ustrukturyzowane, nieustrukturyzowane itp. wchodzą oni to jak dobrze rozumiem przestrzeni HDFS na surowo, i jak wiemy
0
  • Najlepsze
  • Wszystkie komentarze
WpisujcieMiasta
@printHelloWorld: masz nakładki na hadoopa i niewiele to się różni od korzystania w źródle z csv albo z bazy Oracle. My korzystamy z impali kudu sparka. A ludzie co robią jakieś cuda na kiju z pythona albo R
0
printHelloWorld
printHelloWorld
@WpisujcieMiasta: Rozumiem że mówiąć 'nakładki' masz na myśli np.: HDFS, MapReduce, YARN, Spark,Pig, Search itp ?
0
printHelloWorld
printHelloWorld
Cześć,

Mam pytanie, znacie może jakieś darmowe oprogramowanie umożliwiające nawiązywanie połączenia na określony numer telefonu (komórka) ?

Mam pewien proces który uruchamia się o 2 w nocy jeśli w tym procesie pojawi się jakikolwiek błąd osoba nadzorująca systemy powinna po otrzymaniu takiej informacji ten problem naprawić. Najlepszym rozwiązaniem byłoby moim zdaniem użycie oprogramowania który po wychwyceniu takiego triggera uruchamia połączenie telefoniczne w tym przypadku do Administratora.

Byłbym
0
  • Najlepsze
  • Wszystkie komentarze
h.....s
h.....s
@printHelloWorld: nie ma takiego oprogramowania bez użycia fizycznego interfejsu GSM, możesz zaprogramować Arduino z modułem GSM i kartą SIM, albo możliwe, że istnieją platformy, które udostępniają dostęp do własnych numerów za opłatą
1
tomilipin
tomilipin
1sza

2ga

@printHelloWorld: Jedensza? Dwaga?

Karta SIM dla maszyn to karta SIM przeznaczona dla automatów, nie dla człowieka, np. alarmy, kamery, komputery wszelakiego rodzaju.
1
AnonimoweMirkoWyznania
#anonimowemirkowyznania
#etl #ssis #sql #bu #hurtowniadanych #dwh
Cześć,
Obecnie w robocie siedzę w BI jako taki analityk biznesowy i klepacz dashboardów ( ͡° ͜ʖ ͡°) Wcześniej pracowałem kilka lat na sql + excel głównie DQL, T-SQL znam w miarę dobrze(cte, windows function itp.). Chciałbym trochę rozszerzyć swoje skillsy o ETL i zacząłem uczyć się SSIS.
Moje pytanie do doświadczonych
1
  • Najlepsze
  • Wszystkie komentarze
ludzik
Ktoś słyszał może o jakiejś pracy na part time w danych? #mssql i #etl here. Mogę przejść sobie na inną bazę ale będzie mi trzeba marginesu że mogę nie znać części ficzerów. Mam #jdg więc niewiele papierologii.

Ewentualnie jakiś open projekt gdzie mógłbym liznąć jakichś współczesnych mechanizmów typu #bigdata czy inne snowflaki
#bazydanych
0
  • Najlepsze
  • Wszystkie komentarze
bartlomiej-jurek
bartlomiej-jurek
Elo Mirki!

Kojarzy ktoś może jak ogarnąć w power automate desktop przerobienie listy na tabele ?

Mam %List%:
1
0
  • Najlepsze
  • Wszystkie komentarze
Priya
Mirki, szukam jakichś materiałów (najlepiej książek) opisujących wzorce projektowe i architektoniczne, dobre praktyki i standardy dla aplikacji przetwarzających dane strumieniowe. Nie chodzi mi o rozwiązania pod konkretny środowisko chmurowe, tylko coś podobnego do Designing data intensive applications Kleppmanna

#programowanie #bazydanych #przetwarzaniedanych #etl
1
  • Najlepsze
  • Wszystkie komentarze
ludzik
Ludki z #bazydanych i #etl ewentualnie #bi
Ktoś wie, słyszał może o jakichś potrzebach na jakąś 1/4 etatu? Albo potrzebach na krótko? Bo mam trochę wolnych mocy i #jdg , czyli dość elastycznie z umowami.
Gdyby fajnie się kręciło to byłbym skłonny też przejsć na full z obecngo miejsca.
0
T.....r
#etl #tableau #microsoft #ssis #sql #datascience
Tableau, MS stack czy coś innego? Co polecacie dla osoby która chcę znaleźć pierwszą pracę z BI/DWH.
0
  • Najlepsze
  • Wszystkie komentarze
ludzik
Może są tutaj jakieś Mirki czy Mirabelki na kontraktach czy innym #b2b dla Zachodu typu EU, UK, US-and-A? Chodzi o obszar data, baz, migracji, integracji etc. Pytam głównie dlatego by złapać orient gdzie takich kontraktów najlepiej szukać. Dostałem raz przypadkiem spam z UK dotyczący pozycji dot. migracji. Stawka 400 funtów/dzień wygląda kusząco. Nie spodziewam się może zaraz tak dużej, ale pewnie byłyby lepsze niż nasze polskie.
#bazydanych #
0
Tanczacy_z_widlami
Mirki czy opłaca się teraz zaczynać naukę #javascript, a konkretnie backend. Jestem kompletnie zielony w tej kwestii, nie wiem czy to dla mnie. Z informatycznych kwestii znam trochę #sql jedynie. Może jednak warto dalej się uczyć tego sqla, a js sobie odpuścić. Ktoś z branży może powiedzieć, jak obecnie wygląda sytuacja? Co jest lepsze i powiedzmy gdzie po roku nauki łatwiej będzie znaleźć pracę jako junior? #
0
  • Najlepsze
  • Wszystkie komentarze
l.....y
l.....y
Zrobilem swoj pierwszy projekt w SSIS i strasznie to narzedzie przypadlo mi do gustu. Zrobilem szybki rekonesans i z tego co wyczytalem SSIS jest blisko schylku kariery i wiekszosc migruje w kierunku azure. A jak wy oceniacie przyszlosc SSIS?
#ssis #programista15k #etl #bazydanych #azure
0
  • Najlepsze
  • Wszystkie komentarze
mccloud
mccloud
Mam taki use case:
- wpada sobie plik (CSV)
- na pliku wykonuje X reguł (powiedzmy takie formuły excelowe)
- wynik trafia do bazy/pliku (no to akurat chyba najmniej problemowe)

I problemy:
0
  • Najlepsze
  • Wszystkie komentarze
inny_89
Potrzebuję zrobić #hurtowniedanych w #sqlserver ale jako narzędzie do #etl służy mi #spark, a konkretnie #pyspark

Macie może jakieś dobre materiały albo przykładowe kody, żeby podejrzeć jakieś dobre praktyki?

Jak ogarnąć slow changing dimension? Metadane itp.?
1
  • Najlepsze
  • Wszystkie komentarze
PoteznyMagWody
Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:

- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co
0
  • Najlepsze
  • Wszystkie komentarze
ludzik
Po tym jak przeszedłem z #sql deva na #etl deva wzrosła mi aktywność rekruterów na #linkedin. Do tej pory tak #ostroznie miałem wpisane #dellboomi #boomi oraz #informaticacloud i ciągle odzywały się jakieś #krakow gdzie jest mi całkiem nie po drodze. Dziś dokładam #informaticapowercenter i ciekaw jestem co będzie ;D

BTW, dostałem dziś propozycję
1
  • Najlepsze
  • Wszystkie komentarze