【文件属性】：
文件名称：PyDeduplication：大多数只是重复数据删除
文件大小：22KB
文件格式：ZIP
更新时间：2021-02-14 15:04:34
file-handling deduplication Python
Python重复数据删除
在Windows和Linux上测试
条款
学期
意义
短哈希
文件的第一个和最后一个4Ki的哈希
长哈希
散列文件的完整性
文件容器
某些文件包装在容器中，例如.mkv或.png文件。 如果更改了容器元数据（例如，从图像中删除了EXIF数据），则这些文件可能显示假阴性。 打开文件的基础内容并进行哈希处理可以解决此问题，但是会降低性能。
使用--raw标志启用此扫描模式。
当前仅支持图像。
跳过目录
要跳过目录，请将.skipfolder文件放置在您要忽略的级别。 .skipfolder文件指示该程序忽略该文件夹，包括所有子文件和子文件夹。
名为.git以及.gitignore文件都将被自动忽略。 请注意， .gitmodules当前.gitmodules被忽略。
GenerateHashList.py
用法：python3 GenerateHashList
【文件预览】：
PyDeduplication-master
----ExportHashtable.py(1KB)
----.github()
--------workflows()
----HashUtil()
--------Utils.py(624B)
--------EncryptionHelpers.py(3KB)
--------__init__.py(22B)
--------HashList.py(11KB)
----requirements.txt(51B)
----SortHelper.py(4KB)
----SecUtils.py(7KB)
----LICENSE(11KB)
----LogParser.py(3KB)
----CompareTables.py(1KB)
----README.md(1KB)
----ImportHashtable.py(1KB)
----GenerateHashList.py(5KB)
----.gitignore(2KB)