LucaJune
Mam pytanie uzupełniające do mojego wczorajszego pytania o sortowanie.
Dataframy mi się sortują ładnie. Teraz pytanie - czy taki posortowany dataframe mogę zapisać jako posortowany parquet?
Bo zwykłe zapisane posortowanego df niestety nie daje oczekiwanego rezultatu i parquet (a potem external table z tego parqueta) nie są posortowane po tej kolumnie co dataframe.

Pewnie jest opcja, że się nie da, bo tabela to logiczne dane, a nie posortowany zestaw danych?

0
  • Najlepsze
  • Wszystkie komentarze
ch1nczyk
@LucaJune Z tego co wiem to nie da się osiągnąć sortowania w parquet, ze względu na sposób w jaki zapisuje on dane (kolumny). Z reguly sortowanie musi odbyć się jeszcze raz po wczytaniu.

Jeśli twój DF jest dość mały, możesz spróbować zapisania go jako jedna partycja (df.coalesce(1)), wtedy sortowanie powinno być zachowane, ale tracisz obliczenia na wielu klastrach.
4
programistalvlhard
@LucaJune: @ch1nczyk Dokładnie, zapisując na plikach nie masz opcji zapisania "posortowanego", co najwyżej możesz używać takich metod jak clustering eg https://docs.databricks.com/en/delta/clustering.html czy partycjoniwanie.
1
LucaJune
Mam w Synapsie Analytics dataframe złożony z joinów z 10 innych dataframów, nic przesadnie skomplikowanego.
Ale chcę to posortować i .orderBy(col("nazwakolumny").desc()) mi nie działa.

Jako ciekawostka - w jednym notebooku mi to ładnie działa, a w innym nie.

Nie wywala błędu, tylko po prostu nie sortuje.
1
  • Najlepsze
  • Wszystkie komentarze
wezuza123
@LucaJune lepiej zaciągać wszystkie czymś pokroju import pyspark.sql.functions as F, bo możesz mieć kolizję z funkcjami pythonowymi o tej samej nazwie np. sum, min itp.
2
wezuza123
@LucaJune tak.
2
przecietnyczlowiek
przecietnyczlowiek
Używacie analityke psiego syna? Ten serverless niby fajny i niedrogi, ale próbowałem zrobić near live data i nie za bardzo daje radę.
#synapse #synapseanalytics #azure
0
  • Najlepsze
  • Wszystkie komentarze
c.....s
c.....s
@przecietnyczlowiek: pamiętaj tylko, że to też zależy od ilości wizualizacji, bo każdy visual = query
1
c.....s
c.....s
@przecietnyczlowiek: w jakim sensie nie daje rady? Daje radę na tyle ile zapłacisz
0
Alexthehuman_
Nie znajduje mi moich słuchawek Razera na BT w synapse. Myszkę widzi, ale słuchawek już nie. Jakeś pomysły jak dodać tu słuchawki? #razer #synapse #synapse3 #pomoc #technologia #pytaniedoeksperta
0
Diagnose
297139+120=297 259
#rowerowyrownik #cannondale #synapse
16
czekus47
#razer #chroma #synapse #pytanie
Ostatnio kupiłem Razer Ornata Chroma i czy mam możliwość podbindowania sobię zmiany kolorów na przyciski na klawiaturze np. F4 F5 itd.
2
  • Najlepsze
  • Wszystkie komentarze
P.....C
P.....C
@czekus47: jeszcze jak, mozesz sobie nie tylko zbindowac kolory ale nawet pod F4 F5 a pod F5 F4
0
Tracker31
Witam, kolejny airdrop tym razem #synapse

za samą rejestracje dostajecie 50 synapse (2 minuty podajecie email hasło i potwierdzacie maila i juz macie przypisane)

reflink: klik
bez refa: klik
2
  • Najlepsze
  • Wszystkie komentarze
p.....y
p.....y
@Tracker31: naucz się tagować, to nie cryptonews, tylko #znajdzfrajeranascam
11
Arveit
#razer #chroma #synapse #rgb #led #diy #pcmasterrace
Czy z tymi wszystkimi świecidełkami od Razera da się połączyć jakieś własne urządzenie z taśmą RGB? Chciałbym, żeby mi oświetlenie w pokoju (rgb led stripy przy suficie) p----------o jak reszta z chromą :D
1
  • Najlepsze
  • Wszystkie komentarze
ouiWack
Mirki miał ktoś jakiś problem z razer synapsę 2.0 ? Nie chce mi sie uruchomić na Windows 7 #razer #synapse #komputery #pcmasterrace
1
Speedy
Siema mirki. Jak mogę ustawić skrót klawiaturowy na indicator-synapse w Ubuntu 14.04 LTS, żeby nie klikać w lupę?

#linux #ubuntu #synapse #indicator #indicatorsynapse #kiciochpyta
1
  • Najlepsze
  • Wszystkie komentarze