python爬虫学习研究

目标:做一个小爬虫项目

2017年6月4日13:32:17       mooc网教程
Python爬虫入门一之综述
要学习Python爬虫,我们要学习的共有以下几点:
Python基础知识
Python中urllib和urllib2库的用法
Python正则表达式
Python爬虫框架Scrapy
Python爬虫更高级的功能
1.Python基础学习
1) 慕课网Python教程
2) 廖雪峰Python教程
3) 简明Python教程
4) 汪海的实验室
2.Python urllib和urllib2 库的用法
3.Python 正则表达式
4.爬虫框架Scrapy
---------------------分割线--------------
慕课网python教程
第一章 课程介绍
1-1 Python入门课程介绍 (04:16)
第二章 安装python
2-1 选择Python版本 (00:51)
2-2 Windows上安装Python (02:22)
2-3 第一个Python程序 (02:33)
第3章 Python变量和数据类型
3-1 Python中数据类型
3-2 Python之print语句
3-3 Python的注释
3-4 Python中什么是变量
3-5 Python中定义字符串
3-6 Python中raw字符串与多行字符串
3-7 Python中Unicode字符串
3-8 Python中整数和浮点数
3-9 Python中布尔类型
笔记:
1.\n 表示换行
\t 表示一个制表符
\\ 表示 \ 字符本身
2."I'm OK" 输出:I‘m OK
'Learn "Python" in imooc' 输出:Learn "Python" in imooc
3.如果要表示多行字符串,可以用'''...'''表示:
4.如果一个字符串包含很多需要转义的字符,对每一个字符都进行转义会很麻烦。
为了避免这种情况,我们可以在字符串前面加个前缀 r ,表示这是一个 raw 字符串,里面的字符就不需要转义了。
5.如果中文字符串在Python环境下遇到 UnicodeDecodeError,这是因为.py文件保存的格式有问题。可以在第一行添加注释:# -*- coding: utf-8 -*-
目的是告诉Python解释器,用UTF-8编码读取源代码。然后用Notepad++ 另存为... 并选择UTF-8格式保存。
6.11 / 4 # ==> 2
令很多初学者惊讶的是,Python的整数除法,即使除不尽,结果仍然是整数,余数直接被扔掉。
7.1. 在计算 a and b 时,如果 a 是 False,则根据与运算法则,整个结果必定为 False,因此返回 a;
如果 a 是 True,则整个计算结果必定取决与 b,因此返回 b。
2. 在计算 a or b 时,如果 a 是 True,则根据或运算法则,整个计算结果必定为 True,因此返回 a;
如果 a 是 False,则整个计算结果必定取决于 b,因此返回 b。
第4章 List和Tuple类型
4-1 Python创建list
4-2 Python按照索引访问list
4-3 Python之倒序访问list
4-4 Python之添加新元素
4-5 Python从list删除元素
4-6 Python中替换元素
4-7 Python之创建tuple
4-8 Python之创建单元素tuple
4-9 Python之“可变”的tuple
笔记:
1.Python内置的一种数据类型是列表:list。list是一种有序的集合,可以随时添加和删除其中的元素。
2.Python是动态语言,所以list中包含的元素并不要求都必须是同一种数据类型,我们完全可以在list中包含各种数据:
3.由于list是一个有序集合,访问其中的元素:正序和倒序,通过索引下标的方式进行访问。和数组类似。
4.Python之添加新元素
第一个办法是用 list 的 append() 方法,把新同学追加到 list 的末尾:
方法是用list的 insert()方法,它接受两个参数,第一个参数是索引号,第二个参数是待添加的新元素:
5.Python从list删除元素
pop()方法总是删掉list的最后一个元素,并且它还返回这个元素,所以我们执行 L.pop() 后,会打印出 'Paul'。
6.tuple是另一种有序的列表,中文翻译为“ 元组 ”。tuple 和 list 非常类似,但是,tuple一旦创建完毕,就不能修改了。
7.创建tuple和创建list唯一不同之处是用( )替代了[ ]。
总结:
list中的内容是可变的;tuple中的内容是不可变的,一旦创建不可修改;tuple中可以有list;
---------------------分割线-----------------
第5章 条件判断和循环
5-1 Python之if语句
5-2 Python之 if-else
5-3 Python之 if-elif-else
5-4 Python之 for循环
5-5 Python之 while循环
5-6 Python之 break退出循环
5-7 Python之 continue继续循环
5-8 Python之 多重循环
笔记:
1.计算机之所以能做很多自动化的任务,因为它可以自己做条件判断。
2. Python代码的缩进规则。具有相同缩进的代码被视为代码块,上面的3,4行 print 语句就构成一个代码块(但不包括第5行的print)。
如果 if 语句判断为 True,就会执行这个代码块。
缩进请严格按照Python的习惯写法:4个空格,不要使用Tab,更不要混合Tab和空格,否则很容易造成因为缩进引起的语法错误。
注意: if 语句后接表达式,然后用:表示代码块开始。
如果你在Python交互环境下敲代码,还要特别留意缩进,并且退出缩进需要多敲一行回车:
3.if....else....案例
if age >= 18:
print 'adult'
else:
print 'teenager'
4.list或tuple可以表示一个有序集合。如果我们想依次访问一个list中的每一个元素呢?通过for循环来访问,Python的 for 循环就可以依次把list或tuple的每个元素迭代出来:
5.L = ['Adam', 'Lisa', 'Bart']
for name in L:
print name
注意: name 这个变量是在 for 循环中定义的,意思是,依次取出list中的每一个元素,并把元素赋值给 name,然后执行for循环体(就是缩进的代码块)。
6.小总结:注意for循环的格式
7.和 for 循环不同的另一种循环是 while 循环,while 循环不会迭代 list 或 tuple 的元素,而是根据表达式判断循环是否结束。
8.while案例
比如要从 0 开始打印不大于 N 的整数:

N = 10
x = 0
while x < N:
print x
x = x + 1
while循环每次先判断 x < N,如果为True,则执行循环体的代码块,否则,退出循环。

在循环体内,x = x + 1 会让 x 不断增加,最终因为 x < N 不成立而退出循环。

如果没有这一个语句,while循环在判断 x < N 时总是为True,就会无限循环下去,变成死循环,所以要特别留意while循环的退出条件。
9.用 for 循环或者 while 循环时,如果要在循环体内直接退出循环,可以使用 break 语句。
10.在循环过程中,可以用break退出当前循环,还可以用continue跳过后续循环代码,继续下一次循环。
1.Python之 多重循环
在循环内部,还可以嵌套循环,我们来看一个例子:
for x in ['A', 'B', 'C']:
for y in ['1', '2', '3']:
print x + y
x 每循环一次,y 就会循环 3 次,这样,我们可以打印出一个全排列:
A1
A2
A3
B1
B2
B3
C1
C2
C3
-------------------------------分割线------------------------------
第6章 Dict和Set类型
6-1 Python之什么是dict
6-2 Python之访问dict
6-3 Python中dict的特点
6-4 Python更新dict
6-5 Python之 遍历dict
6-6 Python中什么是set
6-7 Python之 访问set
6-8 Python之 set的特点
6-9 Python之 遍历set
6-10 Python之 更新set
笔记:
1.list 和 tuple 可以用来表示顺序集合
2.d = {
'Adam': 95,
'Lisa': 85,
'Bart': 59
} 这是一个字典也就是dict
3.可以简单地使用 d[key] 的形式来查找对应的 value,这和 list 很像,不同之处是,list 必须使用索引返回对应的元素,而dict使用key:
4.dict的第一个特点是查找速度快,无论dict有10个元素还是10万个元素,查找速度都一样。而list的查找速度随着元素增加而逐渐下降。
不过dict的查找速度快不是没有代价的,dict的缺点是占用内存大,还会浪费很多内容,list正好相反,占用内存小,但是查找速度慢。
由于dict是按 key 查找,所以,在一个dict中,key不能重复。
dict的第二个特点就是存储的key-value序对是没有顺序的!这和list不一样:
5.dict是可变的,也就是说,我们可以随时往dict中添加新的 key-value。
6.由于dict也是一个集合,所以,遍历dict和遍历list类似,都可以通过 for 循环实现。
7.通过 key 可以获取对应的 value,因此,在循环体内,可以获取到value的值。

 --------------------------------分割线---------------------------------------------------------------------------

2017年6月4日21:08:34

1.dict的作用是建立一组 key 和一组 value 的映射关系,dict的key是不能重复的。
2.set 持有一系列元素,这一点和 list 很像,但是set的元素没有重复,而且是无序的,这点和 dict 的 key很像。
3.因为set不能包含重复的元素,所以,当我们传入包含重复元素的 list 会怎么样呢?会去掉重复的元素。set其实就是数学中的集合。
4.由于set存储的是无序集合,所以我们没法通过索引来访问。
5.访问 set中的某个元素实际上就是判断一个元素是否在set中。
6.set的内部结构和dict很像,唯一区别是不存储value,因此,判断一个元素是否在set中速度很快。
set存储的元素和dict的key类似,必须是不变对象,因此,任何可变对象是不能放入set中的。
set存储的元素也是没有顺序的。
7.由于 set 也是一个集合,所以,遍历 set 和遍历 list 类似,都可以通过 for 循环实现。
8.由于set存储的是一组不重复的无序元素,因此,更新set主要做两件事:
一是把新的元素添加到set中,二是把已有元素从set中删除。
添加元素时,用set的add()方法:
9.删除set中的元素时,用set的remove()方法:
-----------------分割线--------------------
第7章 函数
7-1 Python之什么是函数
7-2 Python之调用函数
7-3 Python之编写函数
7-4 Python函数之返回多值
7-5 Python之递归函数
7-6 Python之定义默认参数
7-7 Python之定义可变参数
笔记:
1.函数就是最基本的一种代码抽象的方式。
2.抽象是数学中非常常见的概念。
3.要调用一个函数,需要知道函数的名称和参数,比如求绝对值的函数 abs,它接收一个参数。
4.比较函数 cmp(x, y) 就需要两个参数,如果 x<y,返回 -1,如果 x==y,返回 0,如果 x>y,返回 1:
5.Python内置的常用函数还包括数据类型转换函数,比如 int()函数可以把其他数据类型转换为整数:
6.str()函数把其他类型转换成 str:
7.在Python中,定义一个函数要使用 def 语句,依次写出函数名、括号、括号中的参数和冒号:,然后,在缩进块中编写函数体,函数的返回值用 return 语句返回。
8.函数体内部的语句在执行时,一旦执行到return时,函数就执行完毕,并将结果返回。因此,函数内部通过条件判断和循环可以实现非常复杂的逻辑。
9.for 循环可以取出list中每个元素。
10.Python的函数返回多值其实就是返回一个tuple
1.在函数内部,可以调用其他函数。如果一个函数在内部调用自身本身,这个函数就是递归函数。
2.递归函数的优点是定义简单,逻辑清晰。理论上,所有的递归函数都可以写成循环的方式,但循环的逻辑不如递归清晰。
3.使用递归函数需要注意防止栈溢出。在计算机中,函数调用是通过栈(stack)这种数据结构实现的,每当进入一个函数调用,栈就会加一层栈帧,每当函数返回,栈就会减一层栈帧。
由于栈的大小不是无限的,所以,递归调用的次数过多,会导致栈溢出。可以试试计算 fact(10000)。
4.int()函数的第二个参数是转换进制,如果不传,默认是十进制 (base=10),如果传了,就用传入的参数。
5.Python之定义默认参数,就是给参数一个默认的值。直接用就行。
6.如果想让一个函数能接受任意个参数,我们就可以定义一个可变参数:
7.可变参数的名字前面有个 * 号,我们可以传入0个、1个或多个参数给可变参数:
------------------------分割线--------------------------
第8章 切片
8-1 对list进行切片
8-2 倒序切片
8-3 对字符串切片
笔记:
1.L[0:3]表示,从索引0开始取,直到索引3为止,但不包括索引3。即索引0,1,2,正好是3个元素。
2.L[:]实际上复制出了一个新list。
3.切片操作还可以指定第三个参数:
L[::2]
['Adam', 'Bart']
第三个参数表示每N个取一个,上面的 L[::2] 会每两个元素取出一个来,也就是隔一个取一个。
把list换成tuple,切片操作完全相同,只是切片的结果也变成了tuple。
4.对于list,既然Python支持L[-1]取倒数第一个元素,那么它同样支持倒数切片
5.在很多编程语言中,针对字符串提供了很多各种截取函数,其实目的就是对字符串切片。Python没有针对字符串的截取函数,只需要切片一个操作就可以完成,非常简单。
-------------------分割线-------------------------------------
第9章 迭代
9-1 什么是迭代
9-2 索引迭代
9-3 迭代dict的value
9-4 迭代dict的key和value
笔记:
1.在Python中,如果给定一个list或tuple,我们可以通过for循环来遍历这个list或tuple,这种遍历我们成为迭代(Iteration)。
2.迭代操作就是对于一个集合,无论该集合是有序还是无序,我们用 for 循环总是可以依次取出集合的每一个元素。
3.集合是指包含一组元素的数据结构,我们已经介绍的包括:
1. 有序集合:list,tuple,str和unicode;
2. 无序集合:set
3. 无序集合并且具有 key-value 对:dict
4.迭代是一个动词,它指的是一种操作,在Python中,就是 for 循环。
5.Python中,迭代永远是取出元素本身,而非元素的索引。
6.对于有序集合,元素确实是有索引的。有的时候,我们确实想在 for 循环中拿到索引,怎么办?
方法是使用 enumerate() 函数:
7.使用 enumerate() 函数,我们可以在for循环中同时绑定索引index和元素name。但是,这不是 enumerate() 的特殊语法。实际上,enumerate() 函数把:

['Adam', 'Lisa', 'Bart', 'Paul']
变成了类似:

[(0, 'Adam'), (1, 'Lisa'), (2, 'Bart'), (3, 'Paul')]
因此,迭代的每一个元素实际上是一个tuple:
8.可见,索引迭代也不是真的按索引访问,而是由 enumerate() 函数自动把每个元素变成 (index, element) 这样的tuple,再迭代,就同时获得了索引和元素本身。
9.dict对象本身就是可迭代对象,用 for 循环直接迭代 dict,可以每次拿到dict的一个key。
10.如果我们希望迭代 dict 对象的value,应该怎么做?
dict 对象有一个 values() 方法,这个方法把dict转换成一个包含所有value的list,这样,我们迭代的就是 dict的每一个 value:
1.那这两个方法有何不同之处呢?
1. values() 方法实际上把一个 dict 转换成了包含 value 的list。
2. 但是 itervalues() 方法不会转换,它会在迭代过程中依次从 dict 中取出 value,所以 itervalues() 方法比 values() 方法节省了生成 list 所需的内存。
3. 打印 itervalues() 发现它返回一个 <dictionary-valueiterator> 对象,这说明在Python中,for 循环可作用的迭代对象远不止 list,tuple,str,unicode,dict等,任何可迭代对象都可以作用于for循环,而内部如何迭代我们通常并不用关心。
如果一个对象说自己可迭代,那我们就直接用 for 循环去迭代它,可见,迭代是一种抽象的数据操作,它不对迭代对象内部的数据有任何要求。
4.迭代dict的key和value
我们了解了如何迭代 dict 的key和value,那么,在一个 for 循环中,能否同时迭代 key和value?答案是肯定的。
可以看到,items() 方法把dict对象转换成了包含tuple的list,我们对这个list进行迭代,可以同时获得key和value:

>>> for key, value in d.items():
... print key, ':', value
...
Lisa : 85
Adam : 95
Bart : 59
和 values() 有一个 itervalues() 类似, items() 也有一个对应的 iteritems(),iteritems() 不把dict转换成list,而是在迭代过程中不断给出 tuple,所以, iteritems() 不占用额外的内存。
-------------------分割线--------------------
第10章 列表生成式
10-1 生成列表
10-2 复杂表达式
10-3 条件过滤
10-4 多层表达式
笔记:
1.复杂表达式:就是使用for循环的迭代不仅可以迭代普通的list,还可以迭代dict。
2.列表生成式的 for 循环后面还可以加上 if 判断。
------------------------分割线----------------------------已经学完基本教程

posted @ 2017-06-04 23:56  怪咖在骚动  阅读(607)  评论(0编辑  收藏  举报