前事不忘,后事之师,不忘国耻!

 找回密码
 立即注册
搜索
查看: 1|回复: 0

[OS专题] 硬盘里同一个文件存了四五份,删也删不干净?用「按内容查重」一次找全,腾出十几 G

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
价值清单(先扫一眼,决定要不要往下读)


  • 硬盘里真正占地方的,往往不是"大文件",是同一个文件存了好几份
  • 按文件名找重复,基本找不到——复制一次改个名,就认不出来了
  • 正确做法是「按内容比对」,内容一样才算重复,改名不影响判断
  • 别一上来扫全盘:先按大小分组粗筛,只对可疑的算哈希,四小时能压到十几分钟
  • 删之前先把候选文件挪进一个"待删"文件夹,放一周再清,成本最低
  • 全程用系统自带功能,不装任何清理软件


一、问题:为什么你按名字永远找不出重复文件

我那块 2T 的机械盘用了六年,一直处于"快满了但不知道满在哪"的状态。系统盘才占两百多 G,剩下的一千多 G,我完全说不上来是什么。

打开文件夹一层层看,看着都眼熟,又都不像能删。最后硬着头皮按大小排序,把最大的几十个文件拎出来看,发现全是我自己的视频素材,一个都不该删。

问题出在方向错了。

同一份东西在硬盘里很难只存一份。我自己复盘了一下,至少有五条路会造出副本:


  • 手机导照片,一次全量导出,下次又导一遍,重复的那部分系统会改名存成「IMG_2033 (1).jpg」
  • 微信和 QQ 的接收文件夹,同一个文件被不同的人转发,各存一份,名字还带着时间戳
  • 从网盘下载过、又从邮件附件下载过一次
  • 做项目时"留个底",把整个文件夹复制一份改成「XX-最终版」
  • 自己整理时把文件挪了位置,但原位置那份忘了删


这些副本的共同点是:名字全都不一样,大小一模一样。而一切按文件名去重的办法,在这里全部失效。

反过来,如果按内容去比对,它们一个都跑不掉。这就是下面这套做法的全部依据。

二、具体做法:三步,从粗筛到精算

第一步:先圈定查哪几个目录,别扫全盘

一上来就 C:\ 全盘扫描,是最容易半途而废的做法。两个原因:时间按小时算,而且系统目录里有一堆正常的"看起来重复"的东西(比如 Windows 组件目录里全是硬链接,删了系统会坏)。

先想清楚你的副本是从哪来的,只扫那三五个目录。我的清单是这样的:
  1. D:\照片\手机导出
  2. D:\照片\相机
  3. D:\微信接收\文件
  4. D:\下载
  5. E:\项目备份
复制代码

对应到你自己,通常就是:照片导出目录、微信和 QQ 的接收目录、下载目录、以及你自己那两三个"最终版"备份目录。这几处能覆盖八成以上的重复。

有一个地方要特别排除:云盘的同步目录。如果开了"按需下载",那些文件本地只是一个占位符,不是真文件,硬算内容会算错,也会把云端文件拖到本地。查重之前先把同步暂停。

第二步:按大小分组,只对可疑的算哈希

这一步是关键。内容相同的文件,大小一定相同;大小不同的,一定不重复。所以先用"大小"做一次零成本的粗筛,把不可能重复的全扔掉,剩下的才算内容。

打开 PowerShell(开始菜单搜 "powershell",不用管理员权限),把下面这段贴进去,路径改成你自己的:
  1. $dirs = @("D:\照片\手机导出", "D:\微信接收\文件", "D:\下载")
  2. $files = Get-ChildItem -Path $dirs -Recurse -File -ErrorAction SilentlyContinue |
  3.          Where-Object { $_.Length -gt 200KB }
  4. $files | Group-Object Length |
  5.          Where-Object Count -gt 1 |
  6.          ForEach-Object { $_.Group | Get-FileHash -Algorithm MD5 } |
  7.          Group-Object Hash |
  8.          Where-Object Count -gt 1 |
  9.          ForEach-Object { $_.Group } |
  10.          Sort-Object Hash, Path |
  11.          Select-Object Hash, @{n='MB';e={[math]::Round((Get-Item $_.Path).Length/1MB,1)}}, Path |
  12.          Export-Csv -Path "$env:USERPROFILE\Desktop\重复文件.csv" -NoTypeInformation -Encoding UTF8
复制代码

跑完,桌面会多一个「重复文件.csv」。用 Excel 打开,同一个哈希值的几行就是内容完全相同的副本,按哈希排序之后,它们会挨在一起。

几个参数的意思,改起来心里有数:


  • -gt 200KB 是过滤掉小文件。几百字节的图标、配置文件重复了也不占地方,扫它们纯属浪费时间。想更狠可以改成 1MB
  • MD5 是最快的算法,查重够用。它理论上可以被伪造,但你不是在防攻击,只是比内容
  • -ErrorAction SilentlyContinue 是让它在遇到无权限的目录时跳过,不要中断整轮


第三步:人工过筛,再决定删哪个

CSV 出来之后千万别整列删。我的做法是先加两列判断:一列看"路径像不像我的归档目录",一列看"修改时间哪个更早"。

然后用最笨也最稳的办法:在 Excel 里把要删的那些行标黄,只留下同一个哈希里的一行不标,再回到资源管理器里按路径手动挪。挪到哪?新建一个 D:\待删_1117 文件夹,全丢进去。

这一个动作能救回很多后悔:一周之后确认没出问题,再清空这个文件夹。空间没立刻回来,但心里踏实。

顺手给自己定一条规矩:同一个哈希值里,优先保留路径更规整、修改时间更早的那份。前者决定你以后能不能找到,后者决定文件本身是不是原始版本。

三、两个原则

第一,先分组再算哈希,别倒过来。哈希要读完整个文件,一张 20M 的照片算一次就是几十毫秒,十万个文件就是几小时。而读文件大小是读目录项,一瞬间的事。用大小先把候选压到百分之几,再算哈希,这才是把时间花在有用的地方。

第二,删除永远放在最后一步,而且是"挪走"不是"删掉"。查重的风险不在技术,在判断——你会遇到几个看起来一样、其实差一个版本的文件(比如两份合同,只改了金额)。挪进待删文件夹放几天,是给判断留缓冲,成本几乎为零。

四、我的实测

我那台机器:2T 机械盘加 512G 固态,照片和微信接收文件加起来约 60G,总共 4 万多个文件。

第一次我图省事,直接全盘扫。从中午跑到下午,四个多小时,出了一张十几万行的表,系统目录里的硬链接、缓存文件全在里面,看着一片混乱,根本没法判断,最后关掉了。

第二次按上面三步走。先圈了五个目录、限 200KB、只筛候选:总共 4 万多个文件,按大小分组后进入哈希计算的只剩 1800 多个,整轮跑完十二分钟。

结果:扫出 47G 的重复内容,涉及 3200 多个文件。

其中最大的一块是手机照片。我在 2019 年到 2022 年间导过六次照片,每次都全量导出,系统自动改名,同一个视频最多存了五份。光这一块就是 21G。

第二块是微信接收的安装包和 PPT,被不同的人转发过,名字带不同的时间戳,几十个文件加起来 8G 左右。

我最后实际挪走 18G,剩下的没动——有些是"最终版"和"改前版",看着重复,其实是我自己故意留的对照。

顺手发现一个副产品:真正的大头不是我以为的视频,而是这些谁都不会去看一眼的副本。之前我清理硬盘的思路一直是"找大文件删",删完空间没变多少,从那以后改成了"先查重复"。

五、两个容易踩的坑

坑一:只看文件名和大小就删。

这是最常见的翻车方式。相同大小、名字相近,内容却不同——两份导出参数不一样的表格、两张构图相同但曝光不同的照片,都能对上这个特征。只按这两项判断,删掉的可能是唯一那份有价值的。文件名和大小只能用来"找嫌疑人",定案必须看内容。

坑二:把系统目录和云盘占位文件当重复删。

C:\Windows\WinSxS 里那些看着一模一样的东西,大量是硬链接,磁盘上其实只有一份,删了不但不省空间,还会让系统更新失败。云盘的按需下载文件同理,你看到的是占位符,删掉等于把云端那份也标记成待删。

所以范围一定要自己圈,只扫你确认过的用户目录。宁可少扫两个文件夹,也别把系统盘整个丢进去。

最后一个提醒:删之前先确认回收站没满。挪进待删文件夹的那 18G 我是直接从资源管理器移动的,不经过回收站;如果你习惯直接删除,请先看一眼回收站配额,不然"删了"这一步之后连撤回的机会都没有。

价值清单(再核对一遍)


  • 内容相同的文件,大小一定相同;先按大小分组,能砍掉九成以上的无用计算
  • 只扫你确认过的用户目录:照片导出、微信与 QQ 接收、下载、自己的备份夹
  • 排除云盘同步目录和 C:\Windows,那里没有你能安全删除的"重复"
  • 用 Get-FileHash -Algorithm MD5 按内容比对,改名、改时间都骗不过它
  • 结果导出成 CSV,用 Excel 按哈希排序,同一组里只留一行
  • 要删的挪进「待删_日期」文件夹,放一周再清空,别直接删
  • 同一组里优先保留路径规整、修改时间更早的那份


硬盘空间不够,第一反应通常是"找大文件删",但我这次的结论正好相反:真正吃掉空间的是你没意识到存在的那几份副本,而它们没有一个能靠文件名找出来。花十几分钟按内容比一遍,往往比删掉十个"看起来很大"的视频更有用,也更不容易后悔。真要说门槛,只有一个——你得忍住不要在看到那张重复清单的第一秒钟就按删除键。
免责申明1、欢迎访问本站,本文内容及相关资源来源于网络,版权归版权方所有!本站原创内容版权归本站所有,请勿转载!
2、本文内容仅代表作者观点,不代表本站立场,作者自负,本站资源仅供学习研究,请勿非法使用,否则后果自负!请下载后24小时内删除!
3、本文内容,包括但不限于源码、文字、图片等,仅供参考。本站不对其安全性,正确性等作出保证。但本站会尽量审核会员发表的内容。
4、如本帖侵犯到任何版权问题,请立即告知本站 ,本站将及时删除并致以最深的歉意!客服邮箱:admin@fmlist.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|爱谁谁社区 ( 鲁ICP备14013101号-3 )

GMT+8, 2026-11-17 08:02 , Processed in 0.053048 second(s), 8 queries , MemCached On.

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表