马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
价值清单(先扫一眼,决定要不要往下读)
- 硬盘里真正占地方的,往往不是"大文件",是同一个文件存了好几份
- 按文件名找重复,基本找不到——复制一次改个名,就认不出来了
- 正确做法是「按内容比对」,内容一样才算重复,改名不影响判断
- 别一上来扫全盘:先按大小分组粗筛,只对可疑的算哈希,四小时能压到十几分钟
- 删之前先把候选文件挪进一个"待删"文件夹,放一周再清,成本最低
- 全程用系统自带功能,不装任何清理软件
一、问题:为什么你按名字永远找不出重复文件
我那块 2T 的机械盘用了六年,一直处于"快满了但不知道满在哪"的状态。系统盘才占两百多 G,剩下的一千多 G,我完全说不上来是什么。
打开文件夹一层层看,看着都眼熟,又都不像能删。最后硬着头皮按大小排序,把最大的几十个文件拎出来看,发现全是我自己的视频素材,一个都不该删。
问题出在方向错了。
同一份东西在硬盘里很难只存一份。我自己复盘了一下,至少有五条路会造出副本:
- 手机导照片,一次全量导出,下次又导一遍,重复的那部分系统会改名存成「IMG_2033 (1).jpg」
- 微信和 QQ 的接收文件夹,同一个文件被不同的人转发,各存一份,名字还带着时间戳
- 从网盘下载过、又从邮件附件下载过一次
- 做项目时"留个底",把整个文件夹复制一份改成「XX-最终版」
- 自己整理时把文件挪了位置,但原位置那份忘了删
这些副本的共同点是:名字全都不一样,大小一模一样。而一切按文件名去重的办法,在这里全部失效。
反过来,如果按内容去比对,它们一个都跑不掉。这就是下面这套做法的全部依据。
二、具体做法:三步,从粗筛到精算
第一步:先圈定查哪几个目录,别扫全盘
一上来就 C:\ 全盘扫描,是最容易半途而废的做法。两个原因:时间按小时算,而且系统目录里有一堆正常的"看起来重复"的东西(比如 Windows 组件目录里全是硬链接,删了系统会坏)。
先想清楚你的副本是从哪来的,只扫那三五个目录。我的清单是这样的:
- D:\照片\手机导出
- D:\照片\相机
- D:\微信接收\文件
- D:\下载
- E:\项目备份
复制代码
对应到你自己,通常就是:照片导出目录、微信和 QQ 的接收目录、下载目录、以及你自己那两三个"最终版"备份目录。这几处能覆盖八成以上的重复。
有一个地方要特别排除:云盘的同步目录。如果开了"按需下载",那些文件本地只是一个占位符,不是真文件,硬算内容会算错,也会把云端文件拖到本地。查重之前先把同步暂停。
第二步:按大小分组,只对可疑的算哈希
这一步是关键。内容相同的文件,大小一定相同;大小不同的,一定不重复。所以先用"大小"做一次零成本的粗筛,把不可能重复的全扔掉,剩下的才算内容。
打开 PowerShell(开始菜单搜 "powershell",不用管理员权限),把下面这段贴进去,路径改成你自己的:
- $dirs = @("D:\照片\手机导出", "D:\微信接收\文件", "D:\下载")
- $files = Get-ChildItem -Path $dirs -Recurse -File -ErrorAction SilentlyContinue |
- Where-Object { $_.Length -gt 200KB }
- $files | Group-Object Length |
- Where-Object Count -gt 1 |
- ForEach-Object { $_.Group | Get-FileHash -Algorithm MD5 } |
- Group-Object Hash |
- Where-Object Count -gt 1 |
- ForEach-Object { $_.Group } |
- Sort-Object Hash, Path |
- Select-Object Hash, @{n='MB';e={[math]::Round((Get-Item $_.Path).Length/1MB,1)}}, Path |
- Export-Csv -Path "$env:USERPROFILE\Desktop\重复文件.csv" -NoTypeInformation -Encoding UTF8
复制代码
跑完,桌面会多一个「重复文件.csv」。用 Excel 打开,同一个哈希值的几行就是内容完全相同的副本,按哈希排序之后,它们会挨在一起。
几个参数的意思,改起来心里有数:
- -gt 200KB 是过滤掉小文件。几百字节的图标、配置文件重复了也不占地方,扫它们纯属浪费时间。想更狠可以改成 1MB
- MD5 是最快的算法,查重够用。它理论上可以被伪造,但你不是在防攻击,只是比内容
- -ErrorAction SilentlyContinue 是让它在遇到无权限的目录时跳过,不要中断整轮
第三步:人工过筛,再决定删哪个
CSV 出来之后千万别整列删。我的做法是先加两列判断:一列看"路径像不像我的归档目录",一列看"修改时间哪个更早"。
然后用最笨也最稳的办法:在 Excel 里把要删的那些行标黄,只留下同一个哈希里的一行不标,再回到资源管理器里按路径手动挪。挪到哪?新建一个 D:\待删_1117 文件夹,全丢进去。
这一个动作能救回很多后悔:一周之后确认没出问题,再清空这个文件夹。空间没立刻回来,但心里踏实。
顺手给自己定一条规矩:同一个哈希值里,优先保留路径更规整、修改时间更早的那份。前者决定你以后能不能找到,后者决定文件本身是不是原始版本。
三、两个原则
第一,先分组再算哈希,别倒过来。哈希要读完整个文件,一张 20M 的照片算一次就是几十毫秒,十万个文件就是几小时。而读文件大小是读目录项,一瞬间的事。用大小先把候选压到百分之几,再算哈希,这才是把时间花在有用的地方。
第二,删除永远放在最后一步,而且是"挪走"不是"删掉"。查重的风险不在技术,在判断——你会遇到几个看起来一样、其实差一个版本的文件(比如两份合同,只改了金额)。挪进待删文件夹放几天,是给判断留缓冲,成本几乎为零。
四、我的实测
我那台机器:2T 机械盘加 512G 固态,照片和微信接收文件加起来约 60G,总共 4 万多个文件。
第一次我图省事,直接全盘扫。从中午跑到下午,四个多小时,出了一张十几万行的表,系统目录里的硬链接、缓存文件全在里面,看着一片混乱,根本没法判断,最后关掉了。
第二次按上面三步走。先圈了五个目录、限 200KB、只筛候选:总共 4 万多个文件,按大小分组后进入哈希计算的只剩 1800 多个,整轮跑完十二分钟。
结果:扫出 47G 的重复内容,涉及 3200 多个文件。
其中最大的一块是手机照片。我在 2019 年到 2022 年间导过六次照片,每次都全量导出,系统自动改名,同一个视频最多存了五份。光这一块就是 21G。
第二块是微信接收的安装包和 PPT,被不同的人转发过,名字带不同的时间戳,几十个文件加起来 8G 左右。
我最后实际挪走 18G,剩下的没动——有些是"最终版"和"改前版",看着重复,其实是我自己故意留的对照。
顺手发现一个副产品:真正的大头不是我以为的视频,而是这些谁都不会去看一眼的副本。之前我清理硬盘的思路一直是"找大文件删",删完空间没变多少,从那以后改成了"先查重复"。
五、两个容易踩的坑
坑一:只看文件名和大小就删。
这是最常见的翻车方式。相同大小、名字相近,内容却不同——两份导出参数不一样的表格、两张构图相同但曝光不同的照片,都能对上这个特征。只按这两项判断,删掉的可能是唯一那份有价值的。文件名和大小只能用来"找嫌疑人",定案必须看内容。
坑二:把系统目录和云盘占位文件当重复删。
C:\Windows\WinSxS 里那些看着一模一样的东西,大量是硬链接,磁盘上其实只有一份,删了不但不省空间,还会让系统更新失败。云盘的按需下载文件同理,你看到的是占位符,删掉等于把云端那份也标记成待删。
所以范围一定要自己圈,只扫你确认过的用户目录。宁可少扫两个文件夹,也别把系统盘整个丢进去。
最后一个提醒:删之前先确认回收站没满。挪进待删文件夹的那 18G 我是直接从资源管理器移动的,不经过回收站;如果你习惯直接删除,请先看一眼回收站配额,不然"删了"这一步之后连撤回的机会都没有。
价值清单(再核对一遍)
- 内容相同的文件,大小一定相同;先按大小分组,能砍掉九成以上的无用计算
- 只扫你确认过的用户目录:照片导出、微信与 QQ 接收、下载、自己的备份夹
- 排除云盘同步目录和 C:\Windows,那里没有你能安全删除的"重复"
- 用 Get-FileHash -Algorithm MD5 按内容比对,改名、改时间都骗不过它
- 结果导出成 CSV,用 Excel 按哈希排序,同一组里只留一行
- 要删的挪进「待删_日期」文件夹,放一周再清空,别直接删
- 同一组里优先保留路径规整、修改时间更早的那份
硬盘空间不够,第一反应通常是"找大文件删",但我这次的结论正好相反:真正吃掉空间的是你没意识到存在的那几份副本,而它们没有一个能靠文件名找出来。花十几分钟按内容比一遍,往往比删掉十个"看起来很大"的视频更有用,也更不容易后悔。真要说门槛,只有一个——你得忍住不要在看到那张重复清单的第一秒钟就按删除键。 |