复合数据类型，英文词频统计

一、列表，元组，字典，集合的增、删、改、查以及遍历。

　　1.列表

pi = ['3', '.', '1', '4', '1', '5', '9', '2', '6', '5', '3', '5']   # 初始化 pi 列表
add = ['7', '9']       # 初始化 add 列表

# 增
pi.insert(12, '8')     # 在列表索引号为12的位置增加元素'8'
pi.append('9')         # 在列表末尾添加新元素‘9’
pi.extend(add)         # 在pi列表的末尾添加add列表里的元素

# 删
del pi[14:16]          # 删除列表索引值为15、16的元素
pi.remove('8')         # 删除列表中第一个与元素 '8' 相同的元素
pi.pop()               # 删除列表最后一个元素
del pi[10]             # 删除列表索引号为 10 的元素'5'

# 改
pi[10] = '3'           # 把列表索引号为 10 的元素修改成 '3'

# 查
print(pi[10])          # 查询列表索引号为 10 的元素的值

# 遍历
for word in pi:        # 遍历 pi 列表的所有元素
    print(word)

　　2.元祖

pi = ('3', '.', '1', '4', '1', '5', '9', '2', '6', '5', '3', '5')   # 初始化 pi 元组
add = ('8', '9')       # 初始化 add 元组

# 增
pi = pi + add          # 元组不可以添加元素，但可以拼接元组
print(pi)

# 删
del pi                 # 不能删除元组里的元素，但可以删除整个元组

# 改
pi = pi[0:3]           # 不可以改变元组的元素，但可以通过截取元组的片段来组成新的元组
add = add[0:1]
pi = pi + add

# 查
print(pi[2])          # 查询元组索引号为 2 的元素的值

# 遍历
for word in pi:        # 遍历 pi 元组的所有元素
    print(word)

　　3.字典

province = {'11': '北京市', '12': '天津市', '13': '河北省', '14': '山西省'}   # 初始化 province 字典
add = {'44': '广东省', '45': '广西壮族自治区', '46': '海南省'}                # 初始化 add 字典

# 增
province['53'] = '云南省'                  # 通过给新的键值名赋值来添加新的键值对
province.update(add)                       # 把add字典的键值对添加到province字典中

# 删
del province['13']                         # 通过删除key(键值名)来删除字典的键值对
# del province                               # 删除整个字典
province.pop('14')                         # 通过删除key(键值名)来删除字典的键值对

# 改
province['53'] = '53'                      # 将key为 '53' 的值改为 '53'

# 查
print(province['12'])                      # 查询key为‘12’的值
province.keys()                            # 查询字典所有的key，以列表返回
province.values()                          # 查询字典所有的value，以列表返回
province.items()                           # 查询字典所有的键值对，以列表返回

# 遍历
for key in province:                       # 遍历 pi 字典的所有key
    print(key)

　　4.集合

pi = {'3', '.', '1', '4', '1', '5', '9', '2', '6', '5', '3', '5'}   # 初始化 pi 集合
add = {'8', '9', '7', '9'}  # 初始化 add 集合

# 增
pi.add('8')                 # 给 pi 集合添加元素 '8'，若集合已存在该元素则不添加
print(pi)

# 删
pi.clear()                  # 删除pi集合的所有元素
pi.difference_update(add)    # 删除pi、add两个集合都存在的元素
pi.discard('.')              # 删除元素'.',无论集合存不存在元素'.'，编译器都不会报错
pi.remove('.')               # 删除元素'.',若集合不存在元素'.'，则编译器会报错
pi.pop()                     # 随机删除集合的一个元素
print(pi)

# 改
pi.update(add)               # 添加新元素或集合到当前集合中，集合元素不重复

# 查
print('1' in pi)             # 查询集合是否存在元素'1'

# 遍历
for word in pi:              # 遍历 pi 集合的所有元素
    print(word)

# 求并集
pi.union(pi, add)            # 求两集合的并集

二、列表，元组，字典，集合的联系与区别。

	括号	有序无序	可变不可变	可重复不可重复	存储与查找方式
列表（list）	[ ]	有序	可变	可重复	值的方式存储，索引查找
元组（tuple）	( )	有序	不可变	可重复	值的方式存储， 索引查找
字典（dict）	{ }	无序	（key）不可变	不可重复	键值对方式存储，key查找
集合（set）	{ }	无序	不可变	不可重复	键方式存储，key查找

 

三、词频统计

1. 下载一长篇小说，存成utf-8编码的文本文件 file
2. 通过文件读取字符串 str
3. 对文本进行预处理
4. 分解提取单词 list
5. 单词计数字典 set , dict
6. 按词频排序 list.sort(key=lambda),turple
7. 排除语法型词汇，代词、冠词、连词等无语义词，自定义停用词或用stops.txt输出TOP(20)
8. 可视化：词云，排序好的单词列表word保存成csv文件
9. 线上工具生成词云：

from nltk.corpus import stopwords
import nltk
import pandas as pd
nltk.download("stopwords")


# 读取歌词文本
def read_text():
    text = open("C:The_three_body.txt", "r", encoding="UTF-8-sig").read().lower()
    print(text)
    print("\n")
    return text


# 修改格式
def modify_text():
    changes = {',', '.', 'don\'t', '\n', 'i\'ve'}
    text = read_text()
    for change in changes:
        if change == 'don\'t':
            text = text.replace(change, 'do not')
        elif change == 'I\'ve':
            text = text.replace(change, 'I have')
        else:
            text = text.replace(change, ' ')
    return text


# 计数、排序
def count_sort():
    exclude = {'”', 'one', 'two', 'three', 'like', 'ye', '“you’ re', 'wouldn’t', '“that', '“do',
               '“there’s', 'coast’s', '“now', 'pan’s', 'would', 'said','even', 'red', 'could', 'shi',
               'know', 'also', 'first', '*', 'long', 'wang', 'saw', 'it’s', 'turned', '…', 'many',
               '“i', 'don’t', '“if', 'we’re', '“of', 'go','wasn’t', 'us', 'take','made','came',
               'want','tell','four','get','went','later','half','new','couldn’t','didn’t','yang',
               'coast','still','see','asked','though','back','day','years','already','much','around',
               'another','took','away','never','must','seemed','way','right','“what','i’m','thought',
               'people','great','work','you’re','come','got','that’s','told','last','make','research',
               'every','“you','“it’s','filled','anything','nothing','began','da','without','man',
               'woman','really','looked','left','“the','next','soon','think','became','night','large',
               'light','look','within','finally','someone','use','eyes','body'}   # 自定义停用词
    string = modify_text()                            # 获取修改后的字符串
    word_list = string.split()                        # 分割单词形成列表
    stops = stopwords.words("english")                # 获取 nltk 英文停用词
    word_set = set(word_list) - set(stops) - exclude  # 列表转成集合，去掉停用词集合
    word_dict = {}                                    # 初始化字典
    for word in word_set:                             # 计算词频
        word_dict[word] = word_list.count(word)
    word_sort = list(word_dict.items())               # 将字典转变成可排序的列表
    word_sort.sort(key=lambda x: x[1], reverse=True)  # 排序
    print(word_sort)
    return word_sort


# 生成CSV文件
def generate_csv():
    word_csv = count_sort()
    pd.DataFrame(data=word_csv[0:20]).to_csv('The_three_body.csv', encoding='UTF-8')
    return


generate_csv()

　　获取前20单词：

 

 

　　三体小说（英文版）词云生成效