学习总结---2020-01-04

前言

该文章主要是学习Python3爬虫,以及os,re,type(),super()的描述

修改时间:2020-01-04

天象独行

  0X01;Python3爬虫总结

  首先,我们先了解一下什么是爬虫,在我看来“爬虫”的本质就是使用代码来替代人为网页浏览数据的一种行为。如果这么一来那么就比较简单了。我们先看看人操作WEB浏览器是如何上网浏览数据的。

  下面来看看WEB是如何与数据沟通的:

    1;WEB浏览器通过地址url发送数据包到请求所需要的数据。

    2;服务器经过验证(通过Cookie等方式)通过,返回WEB浏览器所需要的数据。

    3;WEB浏览器经过特定的格式来分析解包,展现信息。

  根据上面的分析,我们了解,希望利用代码来替代以上分析的行为。

    1;WEB浏览器发送数据包到请求所需要的数据。

    1.1;在Python3当中使用urllib模块来执行爬虫功能,其中request模块可以模拟该行为来发送web数据包。urllib.request.urlopen()可以直接发送数据包,当然,如果需要完全的模拟WEB发送数据包,也可以定制发送数据包。其中urllib.request.Request()来定制WEB数据包,通过urllib.request.urlopen()来发送出去。

    1.2;定制数据包完成了那我们要往哪里发送这个数据包呢?WEB浏览器是通过URL来找到对应的服务器的。通过代码当然也是如此,这里我们可以使用模块urllib.parse模块来构造我们需要的URL。

    3;WEB浏览器经过特定的格式来分析解包,展现信息。

    对于返回来的数据我们并不是全部都需要,所以,我们需要筛选数据。常见的筛选数据的方法可以是通过BS库,正则表达式,xpath,jsonpath,selenium。来筛选数据。

 

  0X02;Python3 os库

    1;os.access(path,mode) 方法作用是尝试访问uid/gid路径。

    2;os.chdir(path) 方法用于切换工作路径。

    3;os.chmod(path,mode) 方法用于更改文件或目录的权限。

    4;os.chown(path,uid,gid) 方法用户更改文件所有者。

    5;os.makedirs(path,mode) 递归常见目录。

    6;os.path.exists(path) 确定路径是否存在。

  

  0X03;Python3 re库

    1;re.match(pattern,string,flags=0) 从字符串起始位置匹配。

    2;re.search(pattern,string,flags=0) 扫描整个字符串并且返回一个匹配对象。

    3;re.sub,re.subn 替换字符串

    4;re.findall 匹配全部关键字

    5;re.compile 编译正则表达式

 

  0X04;Python3 对象

    1;定义类,关键字Class

    2;实例化对象  

    3;继承

    4;方法重写

 

  0X05;Python3 type()

    1;type() 函数如果你只有第一个参数则返回对象的类型

  

  0X06;Python3 super()

    1;super()调用父类方法

  

  

 

 

 

 

 

  

posted @ 2020-01-04 22:57  天象独行  阅读(127)  评论(0编辑  收藏  举报