01 2024 档案
摘要：来源：https://www.shanhubei.com/archives/11789.html 开发WordPress主题和插件，如果调试。 一、使用自带，设置一下： wp-config.php 文件中添加一行代码以打开调试模式 define('WP_DEBUG', true); //启用调试日志
阅读全文
摘要：1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s
阅读全文
摘要：1.爬虫文件 class MeiShiSpider(scrapy.Spider): name = 'meishi' allowed_domains = ['baidu.com'] start_urls = ['https://tieba.baidu.com/f?kw=美食'] def parse(s
阅读全文
摘要：👍🏻这样的字符，插入失败 这个问题，原因是UTF-8编码有可能是两个、三个、四个字节。Emoji表情或者某些特殊字符是4个字节，而Mysql的utf8编码最多3个字节，所以数据插不进去。 Window下phpstudy 1、设置服务端，编码为utf8mb4 2、设置数据库和表字符校对为utf8m
阅读全文
摘要：阅读别人的python源码时碰到了这个yield这个关键字，各种搜索终于搞懂了，在此做一下总结： 通常的for…in…循环中，in后面是一个数组，这个数组就是一个可迭代对象，类似的还有链表，字符串，文件。它可以是mylist = [1, 2, 3]，也可以是mylist = [x*x for x i
阅读全文
摘要：正常流程（如下图）是，引擎(engine)将url交给下载器(downloader)，下载器来 进行数据下载，如果我们想导入selenium， 那么必须要阻断这个过程，并有selenium来代替，我们就需要通过修改downloadmiddleware中的process_request来实现。
阅读全文
摘要：来源：http://www.shanhubei.com/archives/8595.html 一、pipeline中常用的方法 1. process_item（self，item，spider） 管道类中必须有的函数 实现对item数据的处理 必须return item 2. open_spider
阅读全文
scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103
摘要：错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为
阅读全文
摘要：python 报错TypeError: object of type ‘NoneType‘ has no len()处理1. 引言在编程过程中，我们经常会遇到各种异常情况。其中之一就是TypeError异常，它表示操作或函数应用于了错误的数据类型。在本文中，我们将重点讨论TypeError异常中的一
阅读全文
摘要：解决方案该提示是由于不安全的地址导致的，需要把这个错误屏蔽掉，可以使用 --ignore-certificate-errors 来屏蔽。屏蔽后发现还有其他错误提示，也一并解决了。主要添加了三项： # 忽略证书错误 options.add_argument('--ignore-certificate-
阅读全文
