[bedestawiacszope]

#excel
#programowanie
Hej, mam problem z wyłapaniem "duplikatów" wśród plików. Niestety tych plików mam kilkanaście tysięcy do przejrzenia. Duplikaty same w sobie nie dotyczą całości nazwy pliku tylko błędów, które ktoś wprowadził typu:

00DOWBporte de garage - sectionalgen
01DOWBporte de garage - sectionalegen

Ja wiem, że to są identyczne pliki, ale różniące się "00" i "01" oraz "sectional" i "sectionale". To samo dotyczy poniższych.

20DOWBporte intérieure double - coulissantgen
03DOWBporte intérieure double - coulissantegen

00TAG-MCUNelevation origin - schedule levelgen
00TAG-MCUNélévation origin - schedule levelgen (tutaj różnica między "e" i "é",

56GAWPBcontact fenêtregen
56GAWPBcontacte fenêtregen

ktoś po prostu namieszał w nazwach i wrzucił do jednego wora wszystkie pliki i teraz mam problem z wyłapaniem podobnie brzmiących nazw, żeby je usunąć. Nie mam pomysłu, jak to ugryźć. mam nadzieję, że nie pozostaje mi scrollowanie arkusza z nazwami, żeby wyłapywać takie kwiatki.
Dzięki z góry. Pozdrawiam

[GeDox]

@bedestawiacszope: ciężki temat w #!$%@? Mirek. Najlepiej w sumie pobrać nazwę plików wszystkich, usunąć cyferki z początku, posortować po nazwie i sprawdzać czy znaki zgadzają się np w 80%.

[WpiszSwojLogin]

@bedestawiacszope jeśli zawartość jest taka sama, możesz napisać jakiś programik, który tą zawartość porówna

[GeDox]

@WpiszSwojLogin: też prawda, CRC powinien wystarczyć. Gorzej jak różnią się spacją czy coś.

[bedestawiacszope]

@WpiszSwojLogin: no właśnie nie bardzo, bo to nie pliki tekstowe tylko tylko pliki projektów, a pliki te same się różnią "binarnie", wystarczy zapisać ten sam plik dwa razy i już binarnie się różni. @GeDox juz zrobiłem takie podejście, ale to idzie zwariować przeglądając tyle plików.

[GeDox]

@bedestawiacszope: ale to wklej co napisałem np do chatgpt, żeby w Pythonie to wypluł.

[bedestawiacszope]

@GeDox: OK, dziękuję spróbuję tego podejścia. Pozdrawiam

[DocEmmettBrown]

@bedestawiacszope: sam nie używałem ale polecam zobaczyc, w 'wydaniach' po prawej mozna pobrac exe dla windowsa: https://github.com/qarmin/czkawka

[heniek_8]

@bedestawiacszope: jest coś takiego jak Levenshtein distance - miara podobieństwa tekstów. Jeżeli jest zero, to są identyczne, a każde dodanie, usunięcie, przestawienie litery zwiększa ten dystans.
Znajdź implementację tego w języku który znasz, oblicz dystans każdy z każdym i tam gdzie uznasz że jest wystarczająco mały - uznaj za identyczne.

[bedestawiacszope]

@heniek_8: strzał w dziesiątkę, dzięki Mireczku za pomoc :)

[bedestawiacszope]

@heniek_8: Kurde Mireczku, jak ja Ci jestem wdzięczny za tego tipa. Usprawniło mi to całą robotę. Twoja pomoc była przeogromna. pozdrawiam

[heniek_8]

@bedestawiacszope: a z jakiej biblioteki w jakim języku korzystałeś?

[bedestawiacszope]

@heniek_8: Python/itertools. Nie jestem programistą, wiec nie wiem, czy byłaby jakaś bardziej odpowiednia do tego.
edit: chociaż widzę, że nawet jest dedykowany do tego: https://pypi.org/project/python-Levenshtein/

[fasola_i_groch]

@bedestawiacszope: fuzzywuzzy / thefuzz - python albo R ;)

[bedestawiacszope]

@fasola_i_groch: dzięki skróciło mi ten kod niesamowicie, przy jednoczesnym skróceniu czasu exportu plików do .csv.