佛祖让我来巡山

摘要： 3：# 抢票示例 import json import time from multiprocessing import Process,Lock def search(i): with open('ticket',encoding='utf-8') as f: ticket = json.load 阅读全文

摘要： #__author__:Kelvin #date:2020/5/10 11:37 import time from multiprocessing import Process def son1(): while True: print('--> in son1') time.sleep(1) de 阅读全文

摘要： 服务器端： #__author__:Kelvin #date:2020/5/9 11:35 import socket from multiprocessing import Process def talk(conn): while True: msg = conn.recv(1024).deco 阅读全文

摘要： Scrapy框架的使用 - pySpider - 什么是框架？ - 就是一个具有很强通用性且集成了很多功能的项目模板（可以被应用在各种需求中） - scrapy集成好的功能： - 高性能的数据解析操作（xpath） - 高性能的数据下载 - 高性能的持久化存储 - 中间件 - 全栈数据爬取操作 - 阅读全文

摘要： # 抓取梨视频网站的短视频 from lxml import etree import os import requests import re dirName="./videoLibs" if not os.path.exists(dirName): os.mkdir(dirName) url=" 阅读全文

摘要： - selenium模块在爬虫中的使用 - 概念：是一个基于浏览器自动化的模块。 - 爬虫之间的关联： - 便捷的捕获到动态加载到的数据。（可见即可得） - 实现模拟登陆 - 环境安装：pip install selenium - 基本使用： - 准备好某一款浏览器的驱动程序：http://chro 阅读全文

摘要： 1：强制类型转换数据溢出 2：顺序结构的流程图 3：单if语句的流程图 4：标准if-else语句的流程图 5：扩展if-else语句的流程图 6：for循环流程图 阅读全文

摘要： requests抓取数据报错 - HttpConnectinPool: - 原因： - 1.短时间内发起了高频的请求导致ip被禁 - 2.http连接池中的连接资源被耗尽 - 解决： - 1.代理 - 2.headers中加入Conection：“close” 代理服务器 - 代理：代理服务器，可以 阅读全文

摘要： 数据解析 - 数据解析 - 数据解析的作用： - 可以帮助我们实现聚焦爬虫 - 数据解析的实现方式： - 正则 - bs4 - xpath - pyquery - 数据解析的通用原理 - 问题1:聚焦爬虫爬取的数据是存储在哪里的？ - 都被存储在了相关的标签之中and相关标签的属性中 - 1.定位标 阅读全文

摘要： requests操作流程分析 - requests作用：模拟浏览器发起请求 - urllib：requests的前身 - requests模块的编码流程： - 指定url - 发起请求： - get（url,params,headers） - post（url,data,headers） - 获取响 阅读全文