摘要：
网络编程 阅读目录 一.楔子 二.客户端／服务端架构 三.网络基础 四.套接字（socket）初使用 五.黏包 六.socket的更多方法介绍 七.验证客户端链接的合法性 八.socketserver模块 一.楔子 你现在已经学会了写python代码，假如你写了两个python文件a.py和b.py 阅读全文
摘要：
中国空气质量在线监测平台加密数据爬取 -中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为： 该网站所有的空气质量数据都是基于图 阅读全文
摘要：
Python网络爬虫相关基础概念 爬虫介绍 引入 为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的，无论是从实际的应用还是从就业上。 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学 阅读全文
摘要：
线程池 导包：from multiprocessing.dummy import Pool pool.map(callback,alist) 让callback可以异步将alist中的列表元素进行某种形式的操作 注意事项：callback必须要有一个参数、 主要是被应用在耗时的操作 单线程+多任务的 阅读全文
摘要：
requests高级 自己完成的任务 pyquery 标签定位和数据的提取 urllib 如何进行请求的发送 requests模块高级 代理 模拟登陆 验证码 cookie 代理（反爬机制） 概念：代理服务器 代理服务器的作用： 拦截请求和响应，进行转发 代理和爬虫之间的关联是什么？ 如果pc端的i 阅读全文
摘要：
回顾 问题： ip被封：代理 请求参数问题： 动态变化的请求参数 加密的请求参数 响应数据的问题： cookie 请求参数 加密： js逆向 重点内容 参数的动态化 data/prames 反爬机制： robots.txt UA检测 动态加载的数据 如何检测数据是否为动态加载 如何捕获动态加载的数据 阅读全文
摘要：
一. 匿名函数 匿名函数，顾名思义就是没有名字的函数，那么什么函数没有名字呢？这个就是我们以后面试或者工作中经常用匿名函数 lambda，也叫一句话函数。 现在有一个需求：你们写一个函数，此函数接收两个int参数，返回和值。 def func(a,b): return a+b print(func( 阅读全文
摘要：
Python 运算符 一、Pycharm使用 1.1 下载Pycahrm 首先要下载Pycharm这个软件，官网的下载地址是: http://www.jetbrains.com/pycharm/download/#section=windows 选择左边的点击进行下载,左边的是专业版右边是社区版 阅读全文
摘要：
Python基础数据类型一 一. 整型(int) 整型在Python中的关键字用int来表示; 整型在计算机中是用于计算和比较的 在python3中所有的整数都是int类型. 但在python2中如果数据量比较大. 会使用long类型. 在python3中不存在long类型 整数可以进行的操作: 1 阅读全文
摘要：
Python基础数据类型二 一.列表 列表是python的基础数据类型之一 ,其他编程语言也有类似的数据类型. 比如JS中的数 组, java中的数组等等. 它是以[ ]括起来, 每个元素用' , '隔开而且可以存放各种数据类型: 列表是python中的基础数据类型之一，其他语言中也有类似于列表的数 阅读全文