【文件属性】：
文件名称：duplicut：从MASSIVE单词列表中删除重复的单词，而不对其进行排序（用于基于字典的密码破解）
文件大小：358KB
文件格式：ZIP
更新时间：2021-01-30 12:16:46
c dictionary dedupe password wordlist
Duplicut :scissors_selector:
快速删除大量单词列表，而无需更改顺序
由和创建
:open_book: 总览
现代密码字词列表的创建通常意味着串联多个数据源。
理想情况下，大多数可能的密码应位于单词表的开头，因此可以立即破解大多数常用密码。
使用现有的重复数据删除工具，您不得不选择是否保留顺序或处理大量单词表。
不幸的是，创建词表需要同时满足以下两个条件：
所以我用编写了duplicut以解决这一非常具体的需求 :nerd_face: :laptop_computer:
:light_bulb: 快速开始
git clone https://github.com/nil0x42/duplicut
cd duplicut/ && make
./duplicut wordlist.txt -o clean-wordlist.txt
:wrench: 选件
特点：
处理大量的单词列表，甚至包括那些超过可用RAM的单词列表
按最大长度过滤行（ -l选项）
可以删除包含不可打印的ASCII字符的行（ -p选项）
按任意键可在运行时显示程序状态
【文件预览】：
duplicut-master
----.gitignore(24B)
----README.md(4KB)
----.github()
--------FUNDING.yml(76B)
----test()
--------build.sh(232B)
--------run.sh(3KB)
--------tests()
--------wordlists()
--------scripts()
----LICENSE(34KB)
----include()
--------optparse.h(260B)
--------status.h(883B)
--------dedupe.h(81B)
--------xxhash.h(180KB)
--------hash.h(320B)
--------file.h(398B)
--------chunk.h(318B)
--------config.h(585B)
--------uinput.h(82B)
--------meminfo.h(162B)
--------bytesize.h(89B)
--------memstate.h(266B)
--------thpool.h(5KB)
--------hmap.h(291B)
--------const.h(827B)
--------line.h(1KB)
--------debug.h(2KB)
--------error.h(252B)
----src()
--------optparse.c(6KB)
--------main.c(2KB)
--------meminfo.c(4KB)
--------file.c(6KB)
--------uinput.c(2KB)
--------bytesize.c(1KB)
--------config.c(4KB)
--------hmap.c(3KB)
--------error.c(2KB)
--------line.c(3KB)
--------dedupe.c(3KB)
--------thpool.c(13KB)
--------memstate.c(1KB)
--------chunk.c(2KB)
--------status.c(9KB)
----.travis.yml(1KB)
----data()
--------img()
----Makefile(2KB)