2020年2月6日
建立属于自己的scrapy crawl模板
摘要： 本人安装PYTHON3.7安装位置：D:\Python\Python37模板位置：D:\Python\Python37\Lib\site-packages\scrapy\templates\spiders原来有：basic.tmpl ,crawl.tmpl,csvfeed.tmpl,xmlfeed. 阅读全文
posted @ 2020-02-06 14:13 myrj 阅读(311) 评论(0) 推荐(0) 编辑
不用SCRAPY也可以应用selector
摘要： 在PY文件中： from scrapy.selector import Selectorfrom scrapy.http import HtmlResponse url="https://m.mm131.net/" r=requests.get(url) r.encoding='gbk' #根据情况 阅读全文
posted @ 2020-02-06 12:36 myrj 阅读(181) 评论(0) 推荐(0) 编辑
scrapy设置自己的headers referer字段
摘要： 1。在middlewares中添加自己的新类： class Mylei(object): def process_request(self,request,spider): referer=request.url if referer: request.headers["referer"] = re 阅读全文
posted @ 2020-02-06 12:06 myrj 阅读(5030) 评论(0) 推荐(0) 编辑
2020年2月5日
建立第一个SCRAPY的具体过程
摘要： 1。安装SCRAPY2。进入CMD：执行：SCRAPY显示： Scrapy 1.8.0 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark 阅读全文
posted @ 2020-02-05 06:45 myrj 阅读(480) 评论(0) 推荐(0) 编辑
2020年2月3日
python 得到变量名的结果为名的变量的值locals()
摘要： >>> a="1">>> b="a">>> print(a,b)1 a>>> print(a,locals()[b])1 1>>>locals() 函数会以字典类型返回当前位置的全部局部变量。>>> print(locals()) {'__name__': '__main__', '__doc__' 阅读全文
posted @ 2020-02-03 17:00 myrj 阅读(513) 评论(0) 推荐(0) 编辑
2020年2月1日
python scrapy
摘要： 中文帮助进入文件夹：1。scrapy startproject mingzi #建立爬虫项目2.scrapy genspider -t crawl ygdy8 ygdy8.com #建立指定爬虫：ygdy8为爬虫名称，ygdy8.com：爬虫允许的范围，即只在这个范围内爬取 3.scrapy cra 阅读全文
posted @ 2020-02-01 15:41 myrj 阅读(232) 评论(0) 推荐(0) 编辑
2020年1月31日
python with (as)语句
摘要： with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。 例1：url = 'http://www.weather.com.cn/' + province + '/index.shtml'with 阅读全文
posted @ 2020-01-31 08:07 myrj 阅读(994) 评论(0) 推荐(0) 编辑
python 常用命令sys.exit()
摘要： Python的程序有两中退出方式：os._exit()， sys.exit() os._exit()会直接将python程序终止，之后的所有代码都不会继续执行。 sys.exit()会引发一个异常：SystemExit，如果这个异常没有被捕获，那么python解释器将会退出。如果有捕获此异常的代码， 阅读全文
posted @ 2020-01-31 07:39 myrj 阅读(8658) 评论(0) 推荐(0) 编辑
2020年1月30日
python 动态指定header获取网页源代码的函数
摘要： import random import requests def get_htmla(url): aui=0 while aui==0: try: header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537. 阅读全文
posted @ 2020-01-30 20:45 myrj 阅读(778) 评论(0) 推荐(0) 编辑
python 按行查找文本文件，找出答案，并提示置顶答案
摘要： 1。整理好答案文件为文本文件；不能有空行；每个题干前有数字做为题号；每个题答案第一个字符为字母,答案占一行import time import time import sys import os import re import tkinter import tkinter.messagebox # 阅读全文
posted @ 2020-01-30 20:39 myrj 阅读(1273) 评论(0) 推荐(0) 编辑