Speichertipp: Speicherfresser mit fdupes finden und entfernen Doppelte Dateien in Linux mit Open Source identifizieren

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Zstor GmbH

Das kleine Open-Source-Tool fdupes hilft dabei, in Linux doppelte Dateien zu identifizieren. Dadurch lässt sich Speicherplatz freiräumen. Außerdem verringert die Deduplizierung auch die Menge der zu sichernden Daten und verkürzt das Sicherungsfenster.

Das Open-Source-Tool fdupes identifiziert auf Datenträgern und in Verzeichnissen doppelt gespeicherte Dateien und kann diese entfernen. Die Vorteile sind mehr Speicherplatz, kürzere Zeitfenster für Backups und auch kleinere Wartungsfenster.

Das Tool ist interessant für Admins, da es in der Befehlszeile auch über Skripte gesteuert werden kann. Das Programm ist unter der MIT-Lizenz verfügbar, die es erlaubt, die Software frei zu nutzen, zu modifizieren und zu verteilen. fdupes wird ohne Gewährleistung bereitgestellt, der Autor übernimmt also keine Haftung für eventuelle Schäden oder Datenverluste.

Fdupes verstehen

Das Tool fdupes ist ein Programm zur Identifizierung von Duplikaten. Die grundsätzliche Nutzung erfolgt über den Befehl „fdupes“, gefolgt von den entsprechenden Parametern und den Verzeichnissen, die durchsucht werden sollen. Mit den Parametern „-r“ oder „--recurse“ durchsucht fdupes alle Unterverzeichnisse der angegebenen Verzeichnisse. Mit den Parametern „-s“ oder „--symlinks“ folgt fdupes symbolischen Links, und mit „-H“ oder „--hardlinks“ behandelt das Programm Hardlinks als Duplikate, auch wenn diese normalerweise nicht als solche erkannt werden. Die Optionen „-G“ und „-L“ legen dabei eine Mindest- beziehungsweise Höchstgröße der Dateien fest, die berücksichtigt werden sollen, und erlauben so eine Filterung nach Dateigröße.

Durch den Einsatz von „-c“ oder „--cache“ wird der Abgleich beschleunigt, da fdupes die Dateisignaturen in einer Datenbank speichert. Der Parameter „-x“ erlaubt es, spezielle Cache-Optionen wie „readonly“, „prune“, „clear“ und „vacuum“ zu verwenden. Diese Optionen ermöglichen das Lesen von Signaturen ohne Änderungen, das Entfernen verwaister Einträge, das Leeren des Caches oder das Reduzieren der Datenbankgröße.

Um leere Dateien aus der Prüfung auszuschließen, kann „-n“ oder „--noempty“ genutzt werden, während „-A“ oder „--nohidden“ versteckte Dateien ignoriert. Mit „-f“ oder „--omitfirst“ lässt sich die erste Datei eines Duplikatsets aus der Liste der doppelten Dateien ausblenden. fdupes bietet zudem an, Dateien auf einer einzelnen Zeile mit „-1“ oder „--sameline“ anzuzeigen oder die Größe („-S“) und das Änderungsdatum („-t“) der Duplikate auszugeben.

Die Option „-m“ oder „--summarize“ erstellt eine Zusammenfassung der gefundenen Duplikate, während „-q“ oder „--quiet“ die Fortschrittsanzeige unterdrückt. Besonders wichtig sind die Optionen zur Löschung von Dateien. Mit „-d“ oder „--delete“ fordert fdupes den Nutzer auf, Dateien zu behalten oder zu löschen. Hierbei kann es in Kombination mit „--symlinks“ oder mehrfacher Angabe eines Verzeichnisses zu Datenverlust kommen, wenn Dateien versehentlich gelöscht werden. Der Parameter „-D“ oder „--deferconfirmation“ verschiebt die Byte-für-Byte-Bestätigung von Duplikaten auf den Zeitpunkt kurz vor der Löschung. Mit „-P“ oder „--plain“ wird die zeilenbasierte Eingabeaufforderung älterer Versionen genutzt, während „-N“ oder „--noprompt“ automatisch die erste Datei eines Duplikatsets behält und den Rest ohne Rückfrage löscht. Die Option „-I“ oder „--immediate“ löscht Duplikate direkt beim Auffinden, ohne diese zu Gruppen zusammenzufassen, und impliziert „--noprompt“.

fdupes bietet auch die Möglichkeit, Dateien nach bestimmten Kriterien zu sortieren, wie nach Änderungszeit („-o time“), Statusänderungszeit („-o ctime“) oder Dateiname („-o name“). Die Sortierung kann mit „-i“ umgekehrt werden. Mit „-l“ kann eine Logdatei für die gelöschten Dateien erstellt werden.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 9

Speichergrößen: Christian Schulte, Fujitsu

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

• Herausforderungen eines modernen Speichersystems
• Methoden und Technologien effizienter Speichersysteme
• Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50206643)