[k.....k]

Za pomocą MapReduce'a chce przekształcić plik csv (by dało to co pandas.unstack(), zmiana formatu tabeli z "szerokiego" na "wąską i długą"), napisałem prosty mapper i reducer, działa, tylko że wiersze w wyniku są oddzielone pustymi liniami.
Jak można to tak zredukować, żeby otrzymać plik a'la csv, bez pustych linii?

#hadoop #python #programowanie #datascience

[meohaw]

@krolikbartek: biorąc pod uwagę ile kodu pokazałeś to mogę ci tylko doradzić abyś przestał zapisywać puste linie do pliku ( ͡° ͜ʖ ͡°)

[k.....k]

@meohaw Wydaje mi się że to nie kwestia kodu, tylko ustawień MapReduce'a, ale proszę:
mapper:
import sys
for line in sys.stdin:
line = line.split(',')
for id in range(len(line) -

[k.....k]

[morsik]

Z telefonu piszę, więc zjadło wcięcia

@krolikbartek: nie wina telefonu. Wypok cannot into wcięcia ( ͡° ʖ̯ ͡°) Używaj jakiegoś pastebina zawsze. Ja polecam dpaste.de bo ładne kolorki ma.

[meohaw]

@krolikbartek: https://ideone.com/fL88AF
wejście zawiera nowe linie, więc jak nie chcesz ich na wyjściu to musisz je usunąć, na przykład z pomocą line.strip()

[k.....k]

@meohaw super, dzięki, już odpalam na zmienionym kodzie:)

[k.....k]

@meohaw dodałem jeszcze stripa do reduktora i wychodzi już poprawnie (+ zapomniałem pominąć pierwszy rząd )

[k.....k]

@meohaw Podpowiesz mi może jak ładnie ominąć pierwszy wiersz w mapperze? Aktualnie mam ifa sprawdzającego czy wartość pierwszego pola z wiersza to 'timestamp', czyli coś co jest jest tylko w pierwszym wierszu.
Fajne byłoby obcięcie tego wejścia o pierwszą pozycję ( [1:] ), ale nie działa mi to w ten sposób

[meohaw]

@krolikbartek: https://stackoverflow.com/questions/4796764/read-file-from-line-2-or-skip-header-row

Google zna odpowiedzi na tak zadane pytania :)