摘要：
ProcessPoolExecutor对multiprocessing进行了高级抽象，暴露出简单的统一接口。 异步非阻塞 爬虫 对于异步IO请求的本质则是【非阻塞Socket】+【IO多路复用】： """ 史上最牛逼的异步IO模块 """ import select import socket im 阅读全文
posted @ 2018-10-25 16:45 昕 阅读(1618) 评论(0) 推荐(0) 编辑
摘要：
chromedriver禁用图片，禁用js，切换UA selenium 模拟chrome浏览器，此时就是一个真实的浏览器，一个浏览器该加载的该渲染的它都加载都渲染，所以爬取网页的速度很慢。如果可以不加载图片等操作，网页加载速度就会快不少，代码中列出了了禁用图片，禁用JS，切换UA的方法。 from 阅读全文
posted @ 2018-10-25 16:44 昕 阅读(234) 评论(0) 推荐(0) 编辑
摘要：
1、头信息检查是否频繁相同 随机产生一个headers， #user_agent 集合 user_agent_list = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/ 阅读全文
posted @ 2018-10-25 16:43 昕 阅读(255) 评论(0) 推荐(0) 编辑
摘要：
实现功能：代理、限速、深度、反爬 import re import queue import urllib.parse import urllib.robotparser import time from urllib import request from datetime import date 阅读全文
posted @ 2018-10-25 16:40 昕 阅读(333) 评论(0) 推荐(0) 编辑
摘要：
方法1 import datetime starttime = datetime.datetime.now() #long running endtime = datetime.datetime.now() print (endtime - starttime).seconds 方法 2 start 阅读全文
posted @ 2018-10-25 16:39 昕 阅读(153) 评论(0) 推荐(0) 编辑
摘要：
1、抓取目录页后用lxml进行页面解析，获取抓取列表 python3.6 urlparse模块变为urllib.parse 2、Python中有一个专门生成各类假数据的库：Faker 3、python类中函数调用要加self 基于OO方法，指向类自身的实例化，方便方法调用 4、网页编码问题 解码：d 阅读全文
posted @ 2018-10-25 16:38 昕 阅读(273) 评论(0) 推荐(0) 编辑
摘要：
1、网站robots robotparser模块首先加载robots.txt文件，然后通过can_fetch()函数确定指定的用户代理是否允许访问网页。 2、识别网站技术 3、下载网页 使用urllib库，3.6没有urllib2 根据网页加载返回错误，进行重试，增强容错性 Requests库适合网 阅读全文
posted @ 2018-10-25 16:37 昕 阅读(182) 评论(0) 推荐(0) 编辑
摘要：
一、UGUI界面拖拽 1、物品类中继承以下5个接口 命名空间： UnityEngine.EventSystem; IBeingDragHandler (OnBeingDrag) IDragHandler(OnDrag) IEndDragHandler(EndDrag) IPointerHandler 阅读全文
posted @ 2018-10-23 13:49 昕 阅读(254) 评论(0) 推荐(0) 编辑
摘要：
1、SQLLite 要注意Plguins的三个dll资源 2、利用ScriptableObject将数据存储为资源（小规模数据） using UnityEngine; using System.Collections; using UnityEditor; public class ItemSet 阅读全文
posted @ 2018-10-23 13:47 昕 阅读(275) 评论(0) 推荐(0) 编辑