字典处理小脚本

前言：    

    很多人平时会收集很多字典，但是当字典的量太多的时候会不知道用哪个字典，所以就想着弄个简单的脚本，用来对收集到的字典进行去重和提取出现频率较高的内容。

# -*- coding:utf-8 -*-

import os
from collections import Counter
import sys

#Version:1.0
#by:reboot

#获取目标文件夹的路径
filedir = os.path.abspath('.') # 获取当前目录
filenames = os.listdir(filedir)
fname = open(filedir + '\\' + 'all_in_one.txt',"wb")

def MergeTxt():   #合并所有txt文件
    pyname = sys.argv[0].split("/")[-1]
    filenames.remove(pyname) #提前将脚本文件的名字从列表中移除，省去后面的比较过程。
    #############合并文件
    for filename in filenames:
        file = open(filedir+'\\{0}'.format(filename), "rb")  # 打开列表中的文件,读取文件内容
        fname.write(file.read())  # 写入新建的文件中
        file.close()  # 关闭列表文件
    fname.close()


def top_dict(all_in_one,all_in_one_length): #提取TOP字典  # 参数1：未去重的所有内容组成的列表  2：列表长度
    top = input("请输入要生成排行前几的字典：\n")
    if top.isdigit() and int(top) <= all_in_one_length:  # 判断top是否是纯数字
        counts = Counter(all_in_one)
        data = counts.most_common(int(top))

        result = open(filedir + '\\' + 'Top' + top +'字典.txt',"wb")
        for i in data:
            result.write(list(i)[0])
        result.close()


def data_deduplication():  #合并的基础上对数据进行去重
    file_deduplication = open(filedir + '\\' + 'all_in_one_deduplication.txt', "wb")
    fname_set = open(filedir + '\\' + 'all_in_one.txt',"rb").readlines()
    set_out = list(set(fname_set)) #文本内容每一行组成的无重复列表
    set_out_length = len(set_out)
    for i in set_out:
        file_deduplication.write(i)
    file_deduplication.close()
    print("已完成对字典的去重操作。\n")

    #进行排序，提取前几的字典
    fname_set_length = len(list(fname_set))
    top_dict(fname_set,fname_set_length)


if __name__ == '__main__':
    MergeTxt()
    print('已完成字典合并，文件名：all_in_one.txt\n')
    data_deduplication()  #进行去重
    input('按回车退出...')

脚本比较简单，支持用户名、密码、用户名&密码、WEB目录形式的字典。

各位也可以自行按需求进行添加功能，例如我本来有想过维护一份大字典然后转换成MD5字典的形式就可以本地维护一份彩虹表了，以前搞过一份大概270W条，后来也不知丢哪去了。。。

如果需要打包好的exe版本，可以后台回复“字典整理”进行获取。

 

------------------------------------------------------------------------------

 

欢迎分享转发。

（信安随笔）