复合数据类型，英文词频统计
1.列表，元组，字典，集合分别如何增删改查及遍历。
（1）列表
# 增
# append:末尾添加
a = ['A', 'B', 'C']
a.append('D')
print(a)
# insert:指定位置添加
a = ['A', 'B', 'C']
a.insert(2, 'D')
print(a)
# extend:分解在末尾添加
a = ['A', 'B', 'C']
a.extend('DEF')
print(a)
# 删
# pop:指定位置删除
a = ['A', 'B', 'C']
a.pop(0)
print(a)
# remove:删除指定元素
a = ['A', 'B', 'C']
a.remove('B')
print(a)
# clear:清空列表元素
a = ['A', 'B', 'C']
a.clear()
print(a)
#改
# 元素赋值
a = ['A', 'B', 'C']
a[2] = 'D'
print(a)
# 分片赋值
a = ['A', 'B', 'C']
a[0:2] = 'D'
print(a)
#查
# 下标取值
a = ['A', 'B', 'C']
print(a[1])
#遍历
# 使用for循环
a = ['A', 'B', 'C']
num = 1
for i in a:
print("列表第%d的值："%(num),i)
num += 1
显示结果：
（2）元组
#增
a = ('A','B')
b = ('C','D')
c = a + b
print(c)
#删
c = ('AAA','BBB')
print("删除元组c")
del c
#查
c = ('A','B','C','D')
print("第一个:{} 第二个:{}".format(c[0],c[1]))
#遍历
c = ('A','B','C','D')
for d in c:
print(d)
显示结果：
（3）字典
#增
dict = {'a':10,'b':9,'c':8}
dict['d'] = 7
print(dict)
#删
dict = {'a':10,'b':9,'c':8}
del dict['a']
print(dict)
#改
dict = {'a':10,'b':9,'c':8}
dict['a'] = 7
print(dict)
#查
dict = {'a':10,'b':9,'ccc':8}
print("查找:{}".format(dict['a']))
# 遍历
dict = {'a':10,'b':9,'c':8}
for bl in dict:
print("{}:{}".format(bl,dict[bl]))
显示结果：
（4）集合
a=set('a')
a.add('b') #增加元素
a.remove('b') 或者 a.discard('b') #删除元素
a.pop() #随机删除元素
2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面：
- 括号------ （1）列表：[ ] （2）元组：( ) （3）字典：{ } （4） 集合：( )
- 有序无序------（1）有序 （2）有序 （3）无序 （4）无序
- 可变不可变-----（1）可变 （2）可变 （3）不可变，元组中的元素不可修改、不可删除（4）可变
- 重复不可重复-----（1）可以重复（2）可以重复（3）可以重复（4）不可以重复
- 存储与查找方式------（1）① 找出某个值第一个匹配项的索引位置，如：list.index(‘a’)② 使用下标索引，如：list[1] （2）使用下标索引，如：tuple[1]（3）通过使用相应的键来查找，如：dict[‘a’] （4）通过判断元素是否在集合内，如：1 in dict
3.词频统计
-
1.下载一长篇小说，存成utf-8编码的文本文件 file
2.通过文件读取字符串 str
3.对文本进行预处理
4.分解提取单词 list
5.单词计数字典 set , dict
6.按词频排序 list.sort(key=lambda),turple
7.排除语法型词汇，代词、冠词、连词等无语义词
- 自定义停用词表
- 或用stops.txt
8.输出TOP(20)
- 9.可视化：词云
排序好的单词列表word保存成csv文件
import pandas as pd
pd.DataFrame(data=word).to_csv('big.csv',encoding='utf-8')
线上工具生成词云：
https://wordart.com/create
f = open(r'hhh.txt', encoding='utf8')
# 打开文件
stop = { 'the', 'and', 'it', 'of', 'in', 'a', 'at', 'out', 'was', 'but', 'not', 'to', 'said', 'me',
'for', 'she'}
def gettext():
sep = "~`*()!<>?,./;'\:[]{}-=_+"
text = f.read().lower()
for s in sep:
text = text.replace(s, '')
return text
# 读取文件
textList = gettext().split()
print(textList)
# 分解提取单词
textSet = set(textList)
stop = set(stop)
textSet = textSet - stop
print(textSet)
# 排除语法词
textDict = {}
for word in textSet:
textDict[word] = textList.count(word)
print(textDict)
print(textDict.items())
word = list(textDict.items())
# 单词计数
word.sort(key=lambda x: x[1], reverse=True)
print(word)
# 排序
for q in range(20):
print(word[q])
# 次数为前20的单词
import pandas as pd
pd.DataFrame(data=word).to_csv("text.csv", encoding='utf-8')
