[juan-populista-liberalez]

Czy jest tu jakiś Mirek, który zna się na #programowanie w #awk?
Mam dwa pliki:
PLIK 1:
1 123123 890987 adasd poiuytr qwerty
2 123123 890987 adasd poiuytr qwerty
3 123123 890987 adasd poiuytr qwerty
4 123123 890987 adasd poiuytr qwerty
5 123123 890987 adasd poiuytr qwerty
6 123123 890987 adasd poiuytr qwerty
7 123123 890987 adasd poiuytr qwerty
8 123123 890987 adasd poiuytr qwerty
9 123123 890987 adasd poiuytr qwerty
10 123123 890987 adasd poiuytr qwerty

PLIK 2:

13132
41234
41123
45435
43345

Tak mniej więcej wygląda struktura plików. I teraz chciałbym żeby awk wypisało mi tylko te linie z pliku pierwszego (całe linie), których 2-ga kolumna pasuje do któregoś z rekordów pliku 2 (jest w nim tylko jedna kolumna).

Przeszukałem masę stacka, ale żaden z podanych tam przykładów nie działa.... ( ͡° ʖ̯ ͡°)

Pomocy !

[wytrzzeszcz]

@juan-populista-liberalez: iloczyn kartezjanski i filtr?

[juan-populista-liberalez]

@wytrzzeszcz: świetnie kumplu, już wiemy, że umiesz, pochwal się jak

[wytrzzeszcz]

@juan-populista-liberalez: a nie możesz Grepem?

[juan-populista-liberalez]

@wytrzzeszcz: mogę, ale przy bardzo dużej ilości danych wydajność leci na łeb na szyję

[wytrzzeszcz]

@juan-populista-liberalez: jak bym z pliku generował sedem program awk i wykonał go

[juan-populista-liberalez]

@wytrzzeszcz: tak to ja umiem, ale jak mam milion rekordów to czas zaczyna mieć znaczenie

[juan-populista-liberalez]

@wytrzzeszcz:

MAM! Dla potomnych: awk -F" " 'NR==FNR{ a[$2]=$1;next } NF{ print $0 ((a[$2]==$2)) }' plik2 plik1

Różnica czasu: było 17s, jest 0.5 :D

[sasik520]

@juan-populista-liberalez: może spróbuj hashem? W awku w begin zaczytaj sobie drugi plik do hasha, a później już z górki, dla każdej linii wyłuskaj drugą kolumnę i sprawdź hash.

[wytrzzeszcz]

@juan-populista-liberalez: szanuje

[ZapomnialWieprzJakProsiakiemByl]

@juan-populista-liberalez:
Tak z ciekawości ile MB mają te pliki?
Ile linii?

[juan-populista-liberalez]

@ZapomnialWieprzJakProsiakiemByl: 100 MB, ~2 miliony linii :)

[juan-populista-liberalez]

@juan-populista-liberalez: test przeprowadzony na pliku 5 MB

[ZapomnialWieprzJakProsiakiemByl]

Oba pliki mają identyczny rozmiar? W liniach? I MB?

[tell_me_more]

@juan-populista-liberalez: na przyszłość może ci się przydać komenda join

[juan-populista-liberalez]

@ZapomnialWieprzJakProsiakiemByl: nie, tutaj mówie o pliku nr 1

[juan-populista-liberalez]

@tell_me_more: znam, nie do końca dobra jeżeli chodzi o porównywanie plików w pewnych przypadkach

[ZapomnialWieprzJakProsiakiemByl]

@juan-populista-liberalez:
chciałem po prostu porównać sobie to z LINQ w c#( ͡° ͜ʖ ͡°)

[ZapomnialWieprzJakProsiakiemByl]

@juan-populista-liberalez:
Pewnie nie jest to miarodajne ale
Plik 2mln linii,140 MB drugi 1 milion linii i wychodzi 600-800 milisekund

[sasik520]

@juan-populista-liberalez: no jest mi przykro, że wymyśliłeś tego hasha sam, a ja napisałem za późno ;)