瑾年ぺ

摘要： 1.pycharm远程连接服务器 ssh、deployment、remote host设置 2.服务器命令 项目路径 scrapy startproject qsw scrapy genspider xs qunshu.92kaifa.com 3.pycharm 导入相关文件 4.编写spider 阅读全文

摘要： 1微信扫码，关注回复xpath插件 2.链接下载 3.将下载好的文件格式改为rar 4.打开谷歌浏览器设置，打开扩展程序 将解压好的文件拖到里面即可 5.测试 阅读全文

摘要： 利用urllib3爬取百度图片首页图片 import os import urllib3 import re from fake_useragent import UserAgent user_agent= UserAgent() ua = user_agent.random # 1.找到目标数据 阅读全文

摘要： urllib库中的request模块主要负责构造和发起网络请求，并在其中添加headers，proxy等，利用它可以模拟浏览器的请求过程 request的请求流程 ①发起网络请求 ②添加headers ③操作cookies ④使用代理proxy 代码演示： #导包 from urllib impor 阅读全文

摘要： 爬虫随机生成user-agent from fake_useragent import UserAgent headers ={ "User-Agent":UserAgent().random} 非常的方便 阅读全文

摘要： 1.cmd 输入命令 pip install virtualenvwrapper-win 2.创建虚拟环境 env mkvirtualenv pyspider 3.在C:\Users\ 检查虚拟环境文件夹是否生成 envs文件 4.在虚拟环境目录C:\Users\Administrator\Envs 阅读全文