python学习笔记二
用python获取数据：
抓取:
Requests库
解析：
BeautifulSoup：一个可以从HTML或XML文件中提取数据的Python库。
官网：
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
生成BeautifulSoup的对象soup后，可使用soup.tag得到标签内容
tag中最重要的属性:name、attributes
获取tag名字的方法：
获取tag属性的方法：
获取tag中非属性的字符串：
寻找所有的某个标签的内容：
find_all方法+属性:
寻找第一个标签的内容：
补充： 推荐博客https://www.cnblogs.com/hanmk/p/8724162.html
上课的示例代码：
发现老师上课用的代码运行不出结果，原来是打印string时不能跨越多个标签，只能从最里层的标签开始打印，目前我也不知道为什么。
Regex：进行各类正则表达式处理
参考网站:
https://docs.python.org/3.5/library/re.html
python中的序列：
包括 字符串、列表、元组
序列元素的访问：
序列的操作类型：
标准类型运算符：
序列类型运算符：
类型转换内建函数：
list()：将一个字符串转化为列表
tuple()：将一个字符串转化为元组
str()：将一个列表或者元组转化为字符串
序列类型可用内建函数：
python中的字符串：
三引号可以使字符串保持原貌:
r可以简化文件路径:
双引号使得单引号使用方便：
字符串与输出形式：
类型说明符：
字符串(s)默认的对齐方式为左对齐,整数的默认方式为右对齐
python中的转义字符:
python中的列表：
列表是可变数据类型，字符串是不可变数据类型
可以更改列表中的元素：
列表中可以包含不同类型的对象：
在列表中加入元素：
在列表中减去元素：
sort函数和sorted函数的区别：
>>> a=[1,3,5,2,9,4,7,8,6,0] >>> a.sort() >>> a [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> a=[1,3,5,2,9,4,7,8,6,0] >>> sorted(a) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] >>> a [1, 3, 5, 2, 9, 4, 7, 8, 6, 0]
sort函数的进一步用法:
>>> List=[3,4,5,2,1] >>> List.sort(reverse=True) >>> List [5, 4, 3, 2, 1] >>> strList=['abab','aa','b','ccccccc'] >>> strList.sort(key=len) >>> strList ['b', 'aa', 'abab', 'ccccccc']
reverse函数和reversed函数的区别:
>>> List1=[1,3,5,7,9] >>> List1.reverse() >>> List1 [9, 7, 5, 3, 1]
>>> List2=[2,4,6,8,10] >>> List3=reversed(List2) >>> List2 [2, 4, 6, 8, 10] >>> List3 <list_reverseiterator object at 0x00315F30>
reversed函数返回的是一个reverse 的迭代器
列表解析：
生成器表达式：
python中的元组:
元组是不可变数据类型，其一般使用与列表类似。
创造具有一个元素的元组：
元组和列表的区别：
由于元组不可变，故对于那些会改变元组本身的方法不能使用，如sort()函数，对于列表可用；对于元组，使用时会报错。sorted()函数没有真正改变元组的内容，故可以使用
元组的作用：
1.在映射类型中当作键使用
2.函数的特殊类型参数
3.作为函数
元组作为函数的特殊类型参数：可变长位置参数
>>> def foo(arg1,*arg2): print(arg1) print(arg2) >>> foo("hello","good","morning","!") hello ('good', 'morning', '!')
元组作为函数的特殊返回类型：
>>>def foo(): return 1,2,3 >>>foo() (1,2,3)
python中的字典：
key(不可变数据类型)->value
创建字典：
1.直接创建
2.利用dict函数
将所有的key设置一个默认值：
将两个列表的元素组成字典：
从列表中构造字典：
如:
字典的使用：增删(del)改查(in/直接用键值查找)
dict2 = dict1 ->将dict2和dict1关联对应到同一个字典，执行例如dict1['score'] = 99的操作后，dict2中的内容也会受影响
字典的内建函数:dict(),len(),hash()
hash() ->判断某个对象是不是可哈希的->是不是不可变的
若一个对象是可哈希的(不可变的)，则会出现哈希值；否则，会出现异常
单独输出字典的key or value：
更新 新旧的两个字典：
查找字典较为明智的方法：
清空字典：clear()
搜索引擎关键词查询中字典的使用：
字典充当可变长关键字参数；元组充当可变长位置参数
python中的集合：
集合的比较：
补充：
集合中的内建函数：
1.面向所有集合：
union(联合), intersection(交), difference(差)和sysmmetric difference(对称差集)
2.面向可变类型的集合：
其中，add和update的区别如下:
python中的扩展库 SciPy：
SciPy中的数据结构：
-ndarray(N维数组)
-Series(变长字典)
-DataFrame(数据框)
SciPy中的NumPy:
创建数组:
代数运算计算行列式：
python中的数组：
用ndarray表示的数组：
ndarray的属性：
如一个二维数组:
ndarray的创建：
ndarray的操作:
ndarray的运算：
注意：这里的矩阵乘法和线代中的矩阵乘法不一样
var->方差；std->标准差
ndarray在线代中的应用：
nadarray的ufunc函数：
python中的变长字典Series:
SciPy中的Matplotlib：
SciPy中的pandas:
Series中的键值是相互独立的(与字典的区别)
Series是一个有序定长的字典，类似一堆数组的对象，由数据和索引组成,对应一维序列
Series的创建：
自定义的创建方式:
Series的基本运算：
exp(N)->计算自然对数的N次方
Series的数据对齐：
用Series自动对齐不同索引的数据：
Series的name属性：
DataFrame:
对应二维表结构，表格型的数据结构->相当于共享同一个index的Series的集合：
创建一个DataFrame:
1.
2.
DataFrame的基本操作：
iloc->某个区域
DataFrame对象的修改和删除：
DataFrame的统计功能：
