[Vojak]

Chcę napisać program, który będzie monitorował czy w folderach w danej lokacji nie pojawiły się nowe pliki o konkretnym rozszerzeniu lub nazwie.

Problem polega na tym, że główny folder zawiera około 1600 folderów, w każdym z tych folderów jest średnio od 5 do 30 podfolderów i dopiero w tych podfolderach znajdują się interesujące mnie pliki. Do tego z dnia na dzień tych podfolderów jest więcej o kilka elementów.

Oczywiście znalazłem odpowiednie moduły do Pythona typu "glob", które sprawdzają ostatnią datę modyfikacji ale zauważyłem, że Windows traktuje modyfikacje w taki sposób:

1. Folder główny
2. Podfolder znajdujący się w folderze głównym - ostatnia modyfikacja 01.07.2021
3. Kolejny podfolder znajdujący się w folderze z punktu 2 (gdzie faktycznie chcę szukać plików) - ostatnia modyfikacja 03.07.2021

Czyli wygląda na to, że podczas szukania nowych plików muszę pętlą wchodzić do każdego podfolderu jak najgłębiej by sprawdzić czy nie znajduje się w nim coś nowego? Na początku myślałem, że wystarczy sprawdzić tylko datę ostatniej modyfikacji tych 1600 folderów i jeżeli tam pojawi się nowa data to dopiero wchodzić do danego folderu ale okazuje się, że główny folder nie "dziedziczy" daty modyfikacji z podfolderów w nim się znajdujących.

Docelowo chcę ten program uruchamiać ręcznie raz dziennie. Foldery nie są przechowywane lokalnie - znajdują się one na zmapowanym dysku sieciowym z którym łączę się przez VPN.

#python #naukaprogramowania

[S.....s]

@Vojak: może coś w kierunku ”apache camel python equivalent". PyPipe? PyPipeline?

[badtorro]

@Vojak: a nie łatwiej będzie ci zrobić listę wszystkich elementów rekursywnie, zapisać do pliku a potem szukać różnic poprzez porównanie z listą z poprzedniego cyklu? taki program chyba można napisać nawet w jakimś bashu czy innym powershellu

[L.....k]

@Vojak: ale skala chyba nie jest tu jeszcze problemem? Ile czasu to leci iterujac po folderach i ich subfolderach?

[W.....e]

@Vojak: os.walk albo własne generatory z yield from.

[morsik]

@Vojak: inotify jak jesteś na Linuksie. A jak jesteś na Windowsie to może https://pypi.org/project/watchdog/ (nie znam, nie używałem).

Te rzeczy będą monitorować na bieżąco zmiany w folderach wewnątrz.

[avangarda]

@Vojak: Ja bym poszedł w stronę hooka monitorującego rekursywnie konkretny katalog. Wdróż w formie usługi działającej w tle. Ewentualnie odpalanie na żądanie z rekursywnym czesaniem.