[Lacwik]

#cpp #programowanie

Czy jestem w stanie iterować po tekście w pliku w miare sensowny sposób tak jak po tablicy charów?
Piszę program wyszukujący wzorzec w tekście z zastosowaniem algorytmu Karpa-Rabina i staram się uniknąć sytuacji, gdzie będę musiał zasysać wszystko do stringa (domyślnie będą to duuże teksty)

[Razi91]

@Lacwik: tak, ale to głupie. Jak sobie napiszesz gettera/operator[] który wczyta ten jeden znak z pliku po fseek.

Lepiej zrobić sobie klasę trzymającą fragment pliku w buforze i pobierający nowy fragment gdy potrzebny i usuwający stare fragmenty.

[P.....s]

@Lacwik: Jakie duże teksty? W zwykłym programie 32 bitowym masz 4gb ramu do użycia. Będzie szybciej. Od tego jest ram.

[Lacwik]

@Razi91: czy fragmentem pliku może być po prostu jedna linia? tylko boję się sytuacji, gdzie słowo będzie rozbite na 2 linijki lub gdy wzorzec bedzie zawierał spacje a słowo będzie rozbite :/

[Razi91]

@Lacwik: to już od ciebie zależy :) Ale żeby wiedzieć gdzie jest ta następna linia, musisz pobrać fragment odpowiednio duży.

Dłużej trwa dostęp do pliku niż pobranie większego fragmentu i znalezienie nowej linii.

[Lacwik]

@Philopolemus_Fronius: nieokreślone, pierwsze testy to 20k+ słow, potem wpadają całe książki

[DzieckoBezZycia]

@Razi91 wątpię że optymalnym rozwiązaniem będzie kazdojednorazowe użycie fseek

[P.....s]

@Lacwik: Milion znaków a tyle może być w dużej książce to 1 MB

[tell_me_more]

@Lacwik: jeśli nie zamierzasz zmieniać tekstu, to po prostu wczytuj wszystko do pamięci. Te kilka mega to jest pikujś, a będzie dużo szybciej.

[Razi91]

@DzieckoBezZycia: dlatego napisałem że to głupie

Przykładowe rozwiązanie: https://pastebin.com/GYsuVTWH
operator[] zwraca znak z danej pozycji, jeśli nie należy do aktualnie pobranego bufora, to go pobiera, zatem zawsze zwróci odpowiedni znak. Można pokusić się o trzymanie 2 buforów, żeby zawsze mieć dostęp do poprzedniego.

[ponton]

Czy jestem w stanie iterować po tekście w pliku w miare sensowny sposób tak jak po tablicy charów?

@Lacwik: protip: nie używaj std::fstream i std::string, tylko POSIX-owego mmap, jeśli zależy ci na największej wydajności

[ponton]

@Lacwik: W sumie to mmap robi nawet to, co chcesz, czyli mapuje plik na tablicę. Co prawda void*, ale wystarczy ją zrzutować na char*. Tu masz mały przykład programu, który liczy wystąpienia litery a: https://pastebin.com/hUCvZGqd