[p.....u]

macie jakiś pomysł jak przy pomocy regexpa przeparsować 5GB plik .json (tak żeby to "zaznaczone" przez regexpa jakoś wyimportować/wyciąć whatever)? bo ja już nie mam siły :/ te wszystkie "large file editors" wysiadają (no może nie wszystkie, bo wszystkich nie próbowałem) xD

albo macie pomysła jak znegować tego regexpa?

#json #programowanie #software

[AntiPlay]

@prezydent_wykopu: 5GB json :| ktoś miał talent :P

[alosha]

@prezydent_wykopu: a grep -v?

[j.....u]

@prezydent_wykopu: https://stedolan.github.io/jq/ spróbuj tego

[5z7k9]

@prezydent_wykopu: ostatnio szukałem danych w wycieku z Adobe, to jest prawie 9 GB, ale nie JSONa tylko każdy wiersz jest w osobnej linii. Wtedy użyłem na szybko C#, ale każdy kompilowany język zrobi to szybko. W tym wypadku chyba najłatwiej będzie napisać własny "parser" który odczytuje tylko kolejny element i sprawdza według RegExpa.

[darck]

@prezydent_wykopu: jackson sobie radzi z dużymi jsonami, ale to jest do deserializacji, a nie regexpów: http://blog.shinetech.com/2011/12/23/processing-huge-json-files-with-jackson/

[p.....u]

@AntiPlay: spoko to tylko 1155026 wierszy xD znaków nawet nie liczę, bo pewnie jakoś wiersze * milion
@alosha: obczajam właśnie, dam znać jak coś
@jestem_w_szoku: jak @up zawiedzie to spróbuję, dzięki

[alosha]

@prezydent_wykopu: Nie takie logi się grepowało. W zasadzie zaczyna się od grep i find, potem awk w razie potrzeby.
Powodzenia!

[i.....k]

@prezydent_wykopu: Polecam to mega przydatne narzędzie: https://stedolan.github.io/jq/
Takie "jquery dla jsona z linii poleceń"

[siwersss]

@prezydent_wykopu: podzielenie pliku na x części po np. 100MB nie wchodzi w grę?

[kapelusz]

@prezydent_wykopu: normalnie szukaj w streamie tego swojego regexa, jak tu: http://stackoverflow.com/a/3013701/2615824 a ludzi co chca parsować tego jsona albo dzielić na części to olej bo szkoda komentarza nawet XD

[p.....u]

@siwersss: wpadłem na to, ale myślałem, że da się prościej ( ͡° ͜ʖ ͡°)
@jestem_w_szoku: jeżu, ale to fajne i działa!, dzięki mireg