复合数据类型，英文词频统计
1.列表，元组，字典，集合分别如何增删改查及遍历。
#1.列表
list1 = ['gakki','masami', 1988, 1987]
list2 = [1, 2, 3, 4, 5]
list3 = ["a", "b", "c", "d"]
print ("list1[0]: ", list1[0])
print ("list2[1:5]: ", list2)
#增加
list2.append('6')
print("list2:",list2[0:100])
#删除
print ("原始列表 : ", list3)
del list3[2]
print ("删除后列表 : ", list3)
#更改
list2[2] = 2001
print ("更新后的第三个元素为 : ", list2[2])
#查找
list4=['Boyoung','gakki','masami']
a=list4.index('Boyoung')
print(a)
#2.元组
a = ['Gakki','ranks','first','in','the','world']
print(a[1:]) # 从左到右 下标1取到最后
print(a[1:-1]) # 从左到右 从下标1取到倒数第二个
print(a[1:-1:2]) # 从左到右 从下标1开始取到倒数第二个 步长为2
print(a[0::2]) # 从左到右 从下标0开始取到最后 步长为2
print(a[5::-2]) # 从右到左 从下标5开始往前取 步长为2
# 添加 insert() 添加到指定位置 两个参数
a.insert(2, 'the')
print("增加后的元组：",a)
# 修改
a[1] = 'win' # 修改一个值
print("修改一个单词后的元组：",a)
a[1:] = ['smiles','like','a','flower'] # 同时修改多个值
print("修改后的元组：",a)
# 删除
a.remove(a[0]) # 删除指定元素
print("删除后的元组：",a)
#查找
# #index 索引 获取下标
b = a.index('flower')
print(b)
#3.字典
dict = {"gakki":"朴宝英", "masami":"长泽雅美"}
#增加
dict.setdefault("parkboyoung","朴宝英")
print("增加后的字典：",dict)
#删除
del dict['parkboyoung']
print("删除后的字典：",dict)
#修改
dict['gakki'] = 1988;
dict['masami'] = "1987"
print("修改后的字典：",dict)
#查找
print(dict["gakki"])
print(dict.get("masami"))#打印对应的内容,key不存在返回none
print(dict.get("parkboyoung"),"这个键不存在")#key不存在返回输入的内容
#4.集合
nice ={1:'yes', 2:'no', 3:'1000'}
print('字典')
print(nice)
nice.update({4: '21'})
print('dict[4] = "hello"')#增加
print(nice)
del nice[1]
print('del dict[2]')#删除
print(nice)
print('dict1[4]')#查找
print(nice[4])
2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面：
- 括号
- 有序无序
- 可变不可变
- 重复不可重复
- 存储与查找方式
列表:
括号:有括号:[]
有序无序:有序
可变不可变:可变
重复不可重复:可重复
存储与查找方式:顺序查找和根据下标查找，存储根据对应下标存储
元组:
括号:有括号:()
有序无序:有序
可变不可变:不可变
重复不可重复:可重复
存储与查找方式:顺序查找和根据下标查找，存储根据对应下标存储
字典:
括号:有括号:{}
有序无序:无序
可变不可变:可变，根据key改变键值
重复不可重复:key不可重复，键值可重复
存储与查找方式:根据key存储和查找所对应的键值
集合:
括号:有括号:()
有序无序:无序
可变不可变:可变
重复不可重复:不可重复
存储与查找方式:顺序查找和根据下标查找，存储根据对应下标存储
3.词频统计
-
1.下载一长篇小说，存成utf-8编码的文本文件 file
2.通过文件读取字符串 str
3.对文本进行预处理
4.分解提取单词 list
5.单词计数字典 set , dict
6.按词频排序 list.sort(key=lambda),turple
7.排除语法型词汇，代词、冠词、连词等无语义词
- 自定义停用词表
- 或用stops.txt
代码块：
import string
import pandas as pd
##定义获取文件并处理函数
def getstr():
txt = open(r"..\python1\what", "r").read().lower()
for c in string.punctuation:
txt = txt.replace(c, " ")
return txt
'''将文本分成单词'''
txtDC=getstr().split()
#过滤无意词
ex = {'a','an','and','was','as','up','my','it','here','at','ll','his','s','he','that','from','had','have','we','the','i','you','in','on','but','with','not','by','its','for','of','to'}
txtSet=set(txtDC)-ex
'''单词统计'''
txtDic = {}
for word in txtSet:
txtDic[word] = txtDC.count(word)
#排序
wordList = list(txtDic.items())
wordList.sort(key=lambda x:x[1],reverse=True)
#输出top20
for i in range(20):
print(wordList[i])
#保存为csv文件
pd.DataFrame(data=wordList).to_csv('ToMyTex.csv',encoding='utf-8')
8.输出TOP(20
)
- 9.可视化：词云
排序好的单词列表word保存成csv文件
import pandas as pd
pd.DataFrame(data=word).to_csv('big.csv',encoding='utf-8')
线上工具生成词云：
https://wordart.com/create
