随笔分类 - 爬虫
摘要：.安装 二.配置 安装完毕之后，需要新建一个配置文件/etc/scrapyd/scrapyd.conf，Scrapyd在运行的时候会读取此配置文件。 在Scrapyd 1.2版本之后，不会自动创建该文件，需要我们自行添加。 首先，执行如下命令新建文件： 接着写入如下内容： 中之一是max_proc_
阅读全文
摘要：一.配置好fiddler和手机 二.抓包 打开快手APP，Fiddler会快速显示很多信息，这些都是手机传送或者接收到的信息。可以逐个包点开，以json形式查看是否是我们需要的内容，如下图所示： 这时可以看到，有一个包里显示了很多信息，包括视频的标题，发布者，再往下拉，发现里面包含很多叫做“main
阅读全文
摘要：1.jd.py # -*- coding: utf-8 -*- import scrapy from copy import deepcopy import json import urllib from scrapy_redis.spiders import RedisSpider from Ji
阅读全文
摘要：一. domz.py 看一下和scapy的主要区别： 二. settings.py 三.运行爬虫后的的结果 进入项目文件夹，执行： 再看一下数据库： · 注意： 1.这个并没有用到items和pipline所以我们先研究这两个文件 四.注释掉写入reid的语句，在运行一下看下结果 在settings
阅读全文
摘要：一.豆瓣模拟登录(双层html) 二.人人模拟登录 code： ''' 1.http://www.yundama.com/demo.html 2.注册:普通用户和开发者用户 3.登录操作: 3.1 普通用户:查看余额. 3.2 开发者用户: - 创建一个软件: - 下载示例程序:开发文档->下载新版
阅读全文
摘要：一.爬虫 二. item 3.pipeline 4.settings
阅读全文
摘要：一.整体思路及中心节点的配置 4.以这个镜像为基础创建新的docker（这个docker是作为center中心调度器，所有信息的读写都在这边，3a54是上面加载进来镜像的id） 5. 查看docker是否在运行 6.进入容器并且查看这个docker的ip (center为docker的name) 6
阅读全文
摘要：本文转自:https://mp.weixin.qq.com/s/fuS3uDvAWOQBQNetLqzO-g 一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和
阅读全文
摘要：1. github 注意点: 1.要获取token,而且要一一对应 2.headers,两次请求的请求头是不一样的,否则会报错,422状态码 2.scrapy模拟登陆人人 3.scrapy模拟登录豆瓣
阅读全文
摘要：1. 还是以虎嗅为例,他给我返回的是一个json格式的json串 2.那么我需要操作的就是把json串转换成我们的字典格式再进行操作 3.自己导入选择器 4.使用Selector的xpath方法获取内容 5.使用效果 我把上一篇虎嗅的在parse中修改了来示范一下 5.文档
阅读全文
只有注册用户登录后才能阅读该文。
摘要：一.安装 1.修改 pyspider/webui/webdav.py 第209行：否则启动会报错 2.启动报错 3.phatomjs 其他问题参考：https://www.cnblogs.com/wisir/p/10666185.html 二.启动 1.启动 2.帮助 3.文件 4.界面 5.操作
阅读全文
摘要：一.初始化 1.html初始化 2.url初始化 3,文件初始化 二.基本选择器 三.查找元素 1.子元素 2.父元素 3.兄弟元素 四.遍历 1.单个元素 2.多个元素 五.获取信息 1.获取属性 2.获取文件 3.获取HTML 六.DOM操作 1.addClass、removeClass¶ 2.
阅读全文
摘要：一.关于字体反爬的思路 1.打开猫眼电影我们发现其很多关于数值在网页显示正常,通过element看到是方框 2.打开network看到所有的请求(找到字体的请求,直接那请求url就能拿到他的字体文件) 3.字体处理 <glyf...> 标签内包含着每一个字符的对象<TTGlyph>，同样第一个和最后
阅读全文
摘要：一.json格式的数据 1.认识 2.格式转换 2.1 json.loads() 把Json格式字符串解码转换成Python对象，从json到python的类型转化对照如下： 2.2 json.dumps() python类型转化为json字符串，返回一个str对象把一个Python对象编码转换成J
阅读全文
摘要：一.B站弹幕的爬取 5. 效果: 二.关于B站直播弹幕的爬取 3.代码 三.b站小视频的爬取 需求:爬取b站的小视频 url=url = http://vc.bilibili.com/p/eden/rank#/?tab=全部 4.看一下请求结果 5.对ajax发起跟过请求 可以看到,带着参数就可以拿
阅读全文
摘要：一.抓取页面 url=https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html 1..首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具抓取数据可以
阅读全文
摘要：一.cookie模拟登录的三种方式 关于方式三的扩展： 可参考：http://codingdict.com/sources/py/requests.utils/18814.html 二.requests编码问题 1.response.text 类型:str 解码方式:根据HTTP头部对应的编码做出有
阅读全文