Zoek en verwijder dubbele bestanden in Linux
Het lijkt misschien onnodig om je zorgen te maken over dubbele bestanden als je terabytes aan opslagruimte hebt. Als je echter om de bestandsorganisatie geeft, wil je duplicaten op je Linux-systeem voorkomen. U kunt dubbele bestanden vinden en verwijderen via de opdrachtregel of met een gespecialiseerde desktop-app.
Gebruik het commando "Zoeken"
Als u niet vertrouwd bent met dit krachtige commando, kunt u er meer over lezen in onze gids. Door find
combineren met andere essentiële Linux-opdrachten, zoals xargs, kunnen we een lijst met dubbele bestanden in een map (en alle bijbehorende submappen) krijgen. De opdracht vergelijkt eerst bestanden op grootte en controleert vervolgens hun MD5-hashes, unieke informatie over elk bestand. Om te scannen op dubbele bestanden opent u uw console, navigeert u naar de gewenste map en typt u:
find -not -empty -type f -printf "% s \ n" | sorteer -rn | uniq -d | xargs -I {} -n1 vind -type f -maat {} c -print0 | xargs -0 md5sum | sorteren | uniq -w32 --all-repeated = gescheiden
Deze one-liner doet het volgende:
find -not -empty -type f -printf "%s\n"
- zoekt naar normale bestanden die niet leeg zijn en hun grootte afdrukken. Als u de bestandsorganisatie belangrijk vindt, kunt u gemakkelijk dubbele bestanden vinden en verwijderen via de opdrachtregel of via een gespecialiseerde desktop-app.
sort -rn
- sorteert de bestanden in omgekeerde volgorde.
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0
- print alleen dubbele regels. In dit geval namen van dubbele bestanden.
xargs -0 md5sum | sort |
- sorteert de MD5-hashes van gescande bestanden.
uniq -w32 --all-repeated=separate
- vergelijkt de eerste 32 tekens van MD5-hashes en drukt die duplicaten af.
Merk op dat deze opdracht niet automatisch duplicaten verwijdert - het voert alleen een lijst uit en u kunt bestanden handmatig verwijderen als u dat wilt. Als u uw bestanden liever beheert in een toepassing die meerdere opties tegelijk biedt, is de volgende oplossing misschien iets voor u.
Gebruik dupeGuru
DupeGuru is een platformonafhankelijke applicatie die beschikbaar is in drie edities: Standard (SE), Music and Picture. Het is ontworpen om dubbele bestanden te vinden op basis van meerdere criteria (bestandsnamen, bestandsgrootte, MD5 hashes) en maakt gebruik van fuzzy-matching om vergelijkbare bestanden te detecteren. Windows- en OS X-gebruikers kunnen de installatiebestanden downloaden van de officiële website en Ubuntu-gebruikers kunnen dupeGuru uit de repository halen:
sudo add-apt-repository ppa: hsoft / ppa sudo apt-get update sudo apt-get install dupeguru
Als u naar duplicaten wilt zoeken, voegt u eerst enkele mappen toe door op de knop "+" te drukken. Een mapstatus instellen op "Referentie" betekent dat de inhoud van andere mappen hiermee wordt vergeleken. Voordat u op 'Scannen' klikt, controleert u het dialoogvenster 'Beeld -> Voorkeuren' om ervoor te zorgen dat alles correct is ingesteld.
Als u de bestandsorganisatie belangrijk vindt, kunt u gemakkelijk dubbele bestanden vinden en verwijderen via de opdrachtregel of via een gespecialiseerde desktop-app.
"Scantype" verschilt per dupeGuru-editie; In Standaard kunt u bestanden en mappen vergelijken op inhoud en bestandsnaam. Foto-editie biedt vergelijking op EXIF tijdstempel en "Afbeeldingsblokken" - een tijdrovende optie die elke afbeelding in een raster verdeelt en de gemiddelde kleur voor elke tegel berekent. In de Muziekeditie kunt u 'Velden', 'Tags' en 'Audio-inhoud' analyseren. Sommige instellingen zijn afhankelijk van het scantype: 'Woordweging' en 'Gelijksoortige woorden matchen' werken alleen wanneer u naar bestandsnamen zoekt. Omgekeerd is "Filterhardheid" niet van toepassing wanneer u een "Inhoud" -scan uitvoert.
DupeGuru negeert kleine bestanden en koppelingen (snelkoppelingen) naar een bestand en laat u reguliere expressies gebruiken om uw zoekopdracht verder aan te passen. U kunt ook zoekresultaten opslaan om er later aan te werken. Apple-fans zullen dol zijn op het feit dat dupeGuru iPhoto- en Aperture-bibliotheken ondersteunt en iTunes-bibliotheken kan beheren.
Wanneer dupeGuru duplicaten vindt, wordt een nieuw venster geopend met referentiebestanden in blauw en de duplicaten hieronder weergegeven. De werkbalk geeft basisinformatie weer en u kunt meer over elk bestand zien als u het selecteert en op de knop "Details" klikt.
U kunt dubbele bestanden direct beheren vanuit dupeGuru - het menu "Acties" toont alles wat u kunt doen. Selecteer bestanden door het selectievakje aan te vinken of op hun naam te klikken; je kunt alle of meerdere bestanden selecteren met behulp van sneltoetsen (houd Shift / Ctrl ingedrukt en klik op de gewenste bestanden). Als u geïnteresseerd bent in verschillen tussen dubbele bestanden, schakelt u Delta-waarden in. De resultaten kunnen opnieuw worden geprioriteerd (zodat de bestanden die als dupes worden vermeld referenties worden) en gesorteerd op basis van verschillende criteria zoals wijzigingsdatum en -grootte. De officiële gebruikershandleiding van dupeGuru is nuttig en duidelijk geschreven, zodat u erop kunt vertrouwen als u ooit vastloopt.
Natuurlijk zou het praktischer zijn als DupeGuru niet in drie edities was opgesplitst - de meeste gebruikers zijn immers dol op one-stop-oplossingen. Toch, als u de opdracht find niet wilt gebruiken, biedt dupeGuru een handige en snelle manier om dupes uit uw bestandssysteem te verwijderen. Kun je enkele andere hulpmiddelen aanbevelen voor het verwijderen van dubbele bestanden? Geeft u de voorkeur aan de opdrachtregel voor deze taak? Vertel ons in de reacties.