Wszystko

Najnowsze

Archiwum

Syn_Diabla
  • 0
szybkie pytanie o airflow bo nie chcę zrobić piekarnika w budzie.

Składam zestaw i mam zagwozdkę jak ustawić śmigła. Wrzucam profesjonalny schemat w paicie (w załączniku). Pomożecie i dorysujecie strzałkami, które wentylatory mają zasysać a które wyciągać ?

Szczególnie interesuje mnie chłodzenie CPU (te dwa na środku) w którą stronę pchać powietrze, żeby to miało ręce i nogi?

#pcmasterrace #komputery #hardware #elektronika #pytanie
Syn_Diabla - szybkie pytanie o airflow bo nie chcę zrobić piekarnika w budzie. Skład...

źródło: image

Pobierz
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
supra107
  • 2
@Syn_Diabla: Robisz przepływ powietrza na takiej zasadzie. Górne możesz wywalić, ale gdybyś miał je zostawić to zasada jest taka że wszystko przed chłodzeniem CPU, które też jest wentylem, zasysa zimne, a wszystko za wyrzuca ciepłe, które już przeszło przez radiator. Tylko licz się z tym że dając wlot od góry na 100% będziesz miał denerwujący rezonans który wymaga odsunięcia wentyla od budy także gra niewarta świeczki. Poza tym, fizyka mówi
supra107 - @Syn_Diabla: Robisz przepływ powietrza na takiej zasadzie. Górne możesz wy...

źródło: image

Pobierz
  • Odpowiedz
smalbear
smalbear
  • 1
#python #programowanie #dataengineering

Hej wszystkim, na codzień używam pythona ale do #datascience w pracy.

Chciałbym postawić sobie dwa dashbordy/raporty dla samego siebie. Z programistycznego punktu widzenia wiem dokładnie co chce zrobić i co ma być efektem końcowym. To czego nie wiem w to jaki sposób to zrobić bo w pracy dodaje nowe procesy na #airflow jednak nigdy nie stawiałem takiego czegoś u siebie (mam
  • 16
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
przecietnyczlowiek
przecietnyczlowiek
  • 3
Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
przecietnyczlowiek - Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestr...

źródło: large

Pobierz
  • 1
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Arogancky
  • 0
bawił się ktoś może w robienie customowego monitoringu dla Airflow?
medytuję nad naklepaniem jakiegoś dashboarda który będzie zbierał statusy wykonania DAGów i pokazywał wszystko w jednym miejscu, tylko jeszcze nie wiem czy to sensowny pomysł (bo cuda niewidy pan hindus czasem robi z naszą instancją ) a nie jestem ownerem i nie chce mi się ręcznie klikać ( ͡° ͜ʖ ͡°)
czyli - jaaaaakby ktoś "been there done
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
janek_
  • 1
mam problem z #airflow
napisałem sobie spidera w #scrapy, na końcu skryptu utworzyłem funkcję:

def extract_data() -> str:
process = CrawlerProcess()
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PoteznyMagWody
  • 0
Mam kilka mikroserwisów które zrzucają eventy do kafki. Chciałbym z tych eventów wyciagnąc pare statystyk i raportów i zastanawiam się jak to zrobić zgodnie ze sztuką. Mam dwa pomysły:

- kolejny mikroserwis, ktory zczytuje te eventy, na bierząco zlicza statystyki i robi inserty i update do nowej bazy relacyjnej np postgres
- zacząłem troche czytac w tym temacie to natknąłem się na takie rzeczy jak ETL, #businessintelligence a potem Apache Airflow. Co
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
#programowanie #gcp #bigquery
#airflow #composer

W dodatkowej robocie zostałem rzucony na wykonanie prostej automatyzacji. Zgodziłem się jednak po otrzymaniu dostępów wyszło że wszystko stoi na gcp, a skrypty są poszczane przez airflow. Nigdy nie pracowałem wiec idzie ciężej niż jak bym miał to puszczać na VMce.

Sprawa wygląda tak że mam tabelę z incydentami i operatorem BigqueryOperator sobie przeszukuje i wypluwam wyniki do nowej
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
BeKindAndHumble
BeKindAndHumble
  • 1
Hej #krakow,

Sa tu jacys ludzie zajmujący się #etl w #python (Apache #airflow ;) )? Szukamy ludzi którzy mają w tym doświadczenie. I zastanawiam się czy są jacyś ludzi dostępni z tego tematu na mirko. Mamy dużo danych i sporo pracy w tym temacie (gdyby kogoś interesowała jaka domena biznesowa to linie lotnicze). ( ͡° ͜ʖ ͡°)
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach