Wszystko

Wszystkie

Archiwum

mirko_anonim
mirko_anonim
  • 0
✨️ Obserwuj #mirkoanonim
Mirki, wybieram się w tym roku na studia podyplomowe big data. Zastanawiam się nad Politechniką Warszawską i SGH. Macie jakieś opinie na temat tych studiów? Które byście wybrali? Który program wydaje wam się lepszy?
1. https://www.sgh.waw.pl/studia-podyplomowe-i-mba/transformacja-cyfrowa/studia-podyplomowe-inzynieria-danych-big-data
2. https://ds.ii.pw.edu.pl/bigdata.html

#bigdata #korposwiat #programista15k #programowanie

─────────────────────

· Akcje: Odpowiedz anonimowo · Więcej
mirko_anonim
mirko_anonim
  • 4
✨️ Obserwuj #mirkoanonim
Pracuje od kilku lat w #testowanieoprogramowania jednak widzę że ilość ofert na stanowiska testerskie jest coraz mniejsza.
Myśle o zmianie zmianie na #bigdata #analizadanych #datascience #businessintelligence bo ilość ofert w tym obszarze jest kilka razy większa niż na #qa.
Doświadczenie mam głównie jako tester manualny, znam podstawy pythona i js (używane do testów automatycznych).
Jaki kierunek byłby dość naturalnym rozwojem z QA w kierunku pracy z danymi? Ogólnie
LucaJune
LucaJune
  • 0
Mam pytanie uzupełniające do mojego wczorajszego pytania o sortowanie.
Dataframy mi się sortują ładnie. Teraz pytanie - czy taki posortowany dataframe mogę zapisać jako posortowany parquet?
Bo zwykłe zapisane posortowanego df niestety nie daje oczekiwanego rezultatu i parquet (a potem external table z tego parqueta) nie są posortowane po tej kolumnie co dataframe.

Pewnie jest opcja, że się nie da, bo tabela to logiczne dane, a nie posortowany zestaw danych?


#pyspark #
ch1nczyk
ch1nczyk
  • 4
@LucaJune Z tego co wiem to nie da się osiągnąć sortowania w parquet, ze względu na sposób w jaki zapisuje on dane (kolumny). Z reguly sortowanie musi odbyć się jeszcze raz po wczytaniu.

Jeśli twój DF jest dość mały, możesz spróbować zapisania go jako jedna partycja (df.coalesce(1)), wtedy sortowanie powinno być zachowane, ale tracisz obliczenia na wielu klastrach.
LucaJune
LucaJune
  • 1
Mam w Synapsie Analytics dataframe złożony z joinów z 10 innych dataframów, nic przesadnie skomplikowanego.
Ale chcę to posortować i .orderBy(col("nazwakolumny").desc()) mi nie działa.

Jako ciekawostka - w jednym notebooku mi to ładnie działa, a w innym nie.

Nie wywala błędu, tylko po prostu nie sortuje.

Jakieś pomysły? Nie mam jakichś funkcji dociągniętych czy co?

#pyspark #synapse #bigdata #python
chatman
chatman
  • 0
????Odblokowanie mocy GPT: Ściągawka główna + 5jailbreak???? i Ściągawka CodeInterpreter GPT [Lite] ????
https://https://angonpl.gumroad.com/

W stale zmieniającym się krajobrazie sztucznej inteligencji jedną z najbardziej rewolucyjnych technologii, jaka się pojawiła, jest GPT (Generative Pre-trained Transformer) OpenAI. GPT okazał się przełomowy w różnych dziedzinach, od przetwarzania języka naturalnego po generowanie kreatywnych treści. Aby w pełni wykorzystać potencjał GPT, zarówno entuzjaści, jak i profesjonaliści sięgają po kompleksowe zasoby, takie jak ściągawki i przewodniki. W
chatman - ????Odblokowanie mocy GPT: Ściągawka główna + 5jailbreak???? i Ściągawka C...

źródło: hackerser2

Pobierz
piteros_94
piteros_94
  • 1
@benxz kilka przedmiotów brałem po angielsku, matematyczne - bez różnicy w poziomie, jak wiążesz przyszlosc z ekonometrią to polecam by liznąć jezyka specjalistycznego, jak nie to odradzam bo to dodatkowa przeszkoda w uczeniu się; reszta wg mnie trochę łatwiejsze, tj więcej zaliczania projektami czy prezentacjami. Ale to było w 2016, więc nie wiem, czy info aktualne
janjanuszziom
janjanuszziom
  • 128
Statystyki YouTube są zadziwiające. Ciężko uwierzyć że działa tak sprawnie i są w stanie skalować tak ogromny ruch i objętość treści.

⚪️ W czerwcu 2022 roku na YouTube co minutę dodawano ponad 500 godzin materiału wideo. To oznacza, że co godzinę pojawiało się około 30 000 godzin nowej treści. Na dodatek to CDNy, więc wszystkie treści i serwery są w kilku kopiach.

⚪️ Codziennie oglądamy ponad 1 miliard godzin filmów n
janjanuszziom - Statystyki YouTube są zadziwiające. Ciężko uwierzyć że działa tak spr...
janjanuszziom
janjanuszziom
  • 39
YouTube brought in $7.7 billion in advertising revenue in its second quarter, reversing the prior trends of a downturn.


@Jakie: Nieprawda. Od dawna YT jest rentowny i przynosi dochody. Nie wiem dlaczego ludzie wygadują bzdury, które im się wydają jako fakty. Bezsens... Wszystko możesz sprawdzić w kilka sekund, ale lepiej pisać jako pewniak coś co sobie wymyślasz i jedynie wprowadzasz ludzi w błąd. Taki komentarz ma ujemną wartość informacyjną. Pewnie sobie
MarteenVaanThomm
MarteenVaanThomm
  • 1
Robię model profitowości kontraktów handlowych w #pracbaza i chciałbym podpiąć pod niego prosty model machine learning, który na podstawie wstępnej propozycji handlowca proponowałby zoptymalizowane parametry takiego kontraktu, tak aby dążyć do maksymalnej profitowości.

Coś w stylu, że tutaj damy trochę większy rabat, tutaj dla nas ciut większa prowizja, klient prawie nie zauważy, a dla nas to będzie znacząca różnica w profitowości takiego kontraktu.

1. Ile czasu realnie coś takiego mogłoby zająć? Cośtam
MarteenVaanThomm - Robię model profitowości kontraktów handlowych w #pracbaza i chcia...

źródło: image

Pobierz
Bejro
Bejro
  • 1
@MarteenVaanThomm: jak masz dużo danych i ich model nie jest raczej skomplikowany to sieci neuronowe mogą łatwo być overkillem - model użyj jaki chcesz, ale nie przesadzaj z jego wielkością. Nie wiem też co dokładnie chcesz osiągnąć i dlaczego nie można tego po prostu policzyć. Jeśli masz zbiór zatwierdzonych "optymalnych" kontraktów i chcesz włożyć nowy nieoptymalny kontrakt aby go poprawić to możesz tu zastosować maszynę Boltzmanna. Ewentualnie zastosować redukcję wymiarowości, wyznaczyć
MarteenVaanThomm
MarteenVaanThomm
  • 1
@Bejro: dzięki bardzo, sporo ciekawych rzeczy piszesz.

Jeśli chodzi o równanie do średniej to tutaj nie zda to egzaminu. Dlatego, że jeśli mamy parametr X (jakaś opłata_2 powiedzmy) dla klienta równa 100, a w modelu referencyjnym, tym najbardziej profitowym ten parametr dąży do 20, to równanie 100 do 20, czy nawet 50 nie ma sensu, bo klient na to nie pójdzie. Nie chcemy tutaj przerabiać każdej propozycji kontraktu pod jeden słuszny
anonimowy_programista
anonimowy_programista
  • 26
Wrzuciłem swojego Google Docsa #zbieramnatesle do ChataGPT4/Code Interpreter i poprosiłem go, by wygenerował dla mnie wykres "Skumulowane wpłaty (na zakup akcji Tesli) i wypłaty, oraz średnia cena akcji na przestrzeni czasu".

Trochę informacji na temat samego wykresu:



Chcielibyście więcej takich wykresów co miesiąc? :) Jakie macie inne pomysły na wykresy przedstawiające dane akcji #zbieramnatesle

#chatgpt #zbieramnatesle #januszeinwestowania #gielda #tesla #wykresy not quite #bigdata yet #chartporn
anonimowy_programista - Wrzuciłem swojego Google Docsa #zbieramnatesle do ChataGPT4/C...

źródło: wykres

Pobierz

Powiązane tagi