02 2021 档案

python爬虫----centOS8安装redis
摘要：Linux 源码安装 下载地址：http://redis.io/download，下载最新稳定版本。 本教程使用的最新文档版本为 2.8.17，下载并安装： # wget http://download.redis.io/releases/redis-6.0.8.tar.gz# tar xzf re 阅读全文
posted @ 2021-02-26 10:34 峰豪 阅读(60) 评论(0) 推荐(0)
python爬虫beautifulsoup的使用
摘要：稍后完成 阅读全文
posted @ 2021-02-24 21:15 峰豪 阅读(45) 评论(0) 推荐(0)
scrapy中间件使用
摘要：1.更换访问ip和user_agent user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" 阅读全文
posted @ 2021-02-24 15:57 峰豪 阅读(78) 评论(0) 推荐(0)
scrapy框架使用imgpipeline
摘要：1.可以在原来的items的基础上添加一个新的item类型 class imgItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() link = scrapy.Field() 2. 阅读全文
posted @ 2021-02-24 15:44 峰豪 阅读(167) 评论(0) 推荐(0)
scrapy中调试spider方法
摘要：1.在scrapy.cfg同路径下创建run.py 2.写入 # -*- coding: utf-8 -*- from scrapy import cmdline name = 'douban' cmd = 'scrapy crawl {0}'.format(name) cmdline.execut 阅读全文
posted @ 2021-02-24 15:11 峰豪 阅读(148) 评论(0) 推荐(0)
python爬虫的框架scrapy思路
摘要：cd 文件目录（进入到你的一个文件中） scrapy startproject 项目名字 cd 项目名字 （进入这个爬虫项目） scrapy genspider (-t crwal) 爬虫名字 运行爬虫：scrapy crawl 爬虫名字 先注释掉allowed_domains settings的四 阅读全文
posted @ 2021-02-24 15:07 峰豪 阅读(96) 评论(0) 推荐(0)
python爬虫----selenium的两种设置
摘要：from selenium import webdriver from time import sleep from selenium.webdriver.chrome.options import Options # 实现无可视化界面 from selenium.webdriver import 阅读全文
posted @ 2021-02-24 10:26 峰豪 阅读(118) 评论(0) 推荐(0)
python爬虫的qq登录---滑动的通过
摘要：主程序 # 做一个滑动验证码的通过 from selenium import webdriver from lxml import etree from time import sleep from selenium.webdriver import ChromeOptions, ActionCha 阅读全文
posted @ 2021-02-24 10:14 峰豪 阅读(542) 评论(0) 推荐(0)