[L.....m]

Są jakieś sprawdzone rozwiązania do deduplikacji danych?

Potrzebuje NAS - dostęp z pod Windows.
Gdzie kilkanaście osób będzie miało dostęp do plików ( 2-30 GB/plik; 100-200 unikalnych plików ).
Pliki będą kasować w różnych okresach czasu, jak wszyscy skasują ma zniknąć i nie zajmować miejsca.
Pliki nie będą modyfikowane.

Udzielenie dostępu do plików będzie zautomatyzowane przez skopiowanie ich do katalogów danego użytkownika.

ZFS niby z FreeNAS powinien dać radę, ale 3-4GB RAM na 1TB danych,
i gdzie się da odradzają.
Projekt mam odpalić i zostawić na pożarcie niedoświadczonym użytkownikom więc o pilnowaniu nie ma mowy.

Jakiś pomysł jak to po kosztach rozwiązać?
Żadne gotowe "boxy" nie wchodzą w grę.

Proponowałem, "web download" z prostym panelem do oznaczania / usuwania wirtualnego plików.
Ale uparci na dostęp "katalog sieciowy Windows"

#pcmasterrace #nas #linux #freenas

[Formbi]

@Line-Storm: może btrfs i odpalanie deduplikacji co jakiś czas cronem?

[pyzdek]

@Line-Storm: jeżeli pliki nie będą modyfikowane, i na serwerze będą własnością tego samego użytkownika unixowego, to zamiast kopiować do poszczególnych katalogów użył bym hard linka, który zadziała dokładnie tak jak piszesz - dane na dysku znajdują się tylko raz, i gdy wszystkie hardlinki będą skasowane - dopiero dane się skasują. Nie trzeba wtedy żadnej dodatkowej deduplikacji, praktycznie każdy linuxowy system plików podoła.

Natomiast jeżeli dane mają być własnością różnych użytkowników unixowych,

[L.....m]

@pyzdek: Tez o hardlinkowaniu myślałem. Ale jeszcze nie testowałem jak to się sprawdzi. Nie wiem też jak rozwiązać definitywne kasowanie plików, w chwili gdy hardlink nie będzie u żadnego z userów. Chyba, że jakoś regularnie testować czy plik jest hardlinkowany jak już nie to usuwać ( to też dobre, bo mogę teoretycznie zrobić z opóźnieniem usuwanie plików po X dniach od ostatniego dostępu )

Pomyślę o tym. Potestuje na spokojnie ma

[pyzdek]

Nie wiem też jak rozwiązać definitywne kasowanie plików, w chwili gdy hardlink nie będzie u żadnego z userów.

@Line-Storm: Wiesz w ogóle jak działa hardlink? Gdy masz jakiś plik na dysku, to w katalogu znajduje się jakby referencja (a la skrót z windowsa) do tych danych - tak to widzi system operacyjny.

Jak dasz w katalogu polecenie ls -l, to w drugiej kolumnie (w przypadku plików) masz liczbę referencji. Nowy

[L.....m]

@pyzdek:

Wiesz w ogóle jak działa hardlink?

Używałem, ale nie wgłębiałem się - nie miałem potrzeby.

Dopiero jak skasujesz ostatnią referencję, to dane zostają skasowane.

O tego nie wiedziałem (a o tym mówi 1. akapit w wiki ;) ) :) Znacznie to upraszcza omawiany scenariusz.
Teraz doczytać jak uprawnienia użytkowników pogodzić.
I zautomatyzować tworzenie hardlink dla nowo wgrywanych plików.

[LosEvilos]

@Line-Storm owncloud?