复合数据类型，英文词频统计

###列表###
list = ['lin', 'kai', 14, 29, 'xan']

# 增
list.append(22)  # 增加到列表尾
list.extend(['extend'])  # 添加指定列表的所有元素
list.insert(2, '插入')  # 在指定位置插入一个元素
print(list)

# 删
list.remove('xan')  # 删除列表中值为'xan'的元素
list.pop()  # 删除最后一个元素
list.pop(1)  # 删除指定位置元素
del list[2:4]  # 删除从2到4的元素
list.clear()  # 删除所有项
print(list)

# 改
list = ['2', 'lin', 'kai', 14, 29, 'xan']
list[0] = 'ig'
print(list)

# 查
print(list.index(14))  # 返回第一个值为x的元素的索引

# 遍历
for i in list:
    print(i)



###元祖###
tuple = ('Google', 'Baidu', 'oo', 'uu', 15, 26)  # 元祖

# 元组中的元素值是不允许修改的，但我们可以对元组进行连接组合
tup1 = (1, 2, 3)
tup2 = ('a', 'b', 'c')

# 创建新的元组
tup3 = tup1 + tup2
print(tup3)

# 访问元祖
print("tup1[0]: ", tup1[0])

# 遍历
for i in tup1:
    print(i)



###字典###
dict = {'a': '1', 'b': '2', 'c': '3'}  # 字典

# 删
del dict['b']  # 删除键 'b'
dict.clear()  # 清空字典
del dict  # 删除字典

dict = {'a': '1', 'b': '2', 'c': '3'}
# 改
dict['a'] = '9'
# 增
dict['d'] = '4'
# 查
print(dict['a'])

# 遍历
for i, j in dict.items():
    print(i, ":\t", j)



###集合###
set1 = {1, 2, 3}  # 集合
set2 = set((1, 2, 3))  # 也是集合
print(set1)
print(set2)

# 增
set1.add(4)
print(set1)

# 删
set2.remove(1)  # 移除值为1的元素，如果不存在则会发生错误
set2.discard(1)  # 移除值为1的元素，如果不存在不会发生错误
set2.pop()  # 随机删除一个元素
set2.clear()
print(set2)

# 查
print(1 in set1)  # 存在则返回True

# 集合无序，不能修改指定的元素
# 遍历
for num in set1:
    print(num)

 

总结列表，元组，字典，集合的联系与区别。参考以下几个方面：

• 括号
• 有序无序
• 可变不可变
• 重复不可重复
• 存储与查找方式

	列表	元祖	字典	集合
括号	[]	()	{}	{}
有序无序	有序	有序	无序，自动正序	无序
可变不可变	可变	不可变	不可变	可变
重复不可重复	可以	可以	可以	不可以
存储与查找方式	值	值	键值对（键不能重复）	键（不能重复）

 

 

 

 

 

 

 

 

 

 

 

 

词频统计

• 1.下载一长篇小说，存成utf-8编码的文本文件 file

  2.通过文件读取字符串 str

  3.对文本进行预处理

  4.分解提取单词 list

  5.单词计数字典 set , dict

  6.按词频排序 list.sort(key=lambda),turple

  7.排除语法型词汇，代词、冠词、连词等无语义词

  • 自定义停用词表
  • 或用stops.txt

          8.输出TOP(50)

　　　　　　

　　　　　 排序好的单词列表word保存成csv文件

 　　　　　

import re
import pandas
from stop_words import get_stop_words

stop_words = get_stop_words('english')

file = open("../第三次作业/Howl’s Moving Castle.txt", "r+", encoding='UTF-8')
str = file.read()

str = re.sub('[\r\n\t,!?:;“‘’.\"]', '', str)
words = str.split(" ")

single = []  # 分词数组
excluding_words = []  # 排除的单词
quantity = []  # 单词次数

for word in words:
    if (word not in single and word not in stop_words):
        single.append(word)

tmp = single.copy()
while tmp:
    # print(tmp[0], "出现次数：", words.count(tmp[0]), end="     ")
    quantity.append(words.count(tmp[0]))
    tmp.pop(0)

dic = dict(zip(single, quantity))  # 合成字典
dic = sorted(dic.items(), key=lambda item: item[1], reverse=True)  # 排序

for i in range(50):
    print(dic[i][0], " : ", dic[i][1])

pandas.DataFrame(data=dic).to_csv('fenci.csv', encoding='utf-8')

print(stop_words)

file.close()

　　　　9.可视化：词云