珊瑚贝博客 - 博客园

2024年1月3日

scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103

摘要：错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为阅读全文

posted @ 2024-01-03 16:09 珊瑚贝博客阅读(4) 评论(0) 推荐(0) 编辑

python 报错TypeError: object of type ‘NoneType‘ has no len()处理

摘要： python 报错TypeError: object of type ‘NoneType‘ has no len()处理1. 引言在编程过程中，我们经常会遇到各种异常情况。其中之一就是TypeError异常，它表示操作或函数应用于了错误的数据类型。在本文中，我们将重点讨论TypeError异常中的一阅读全文

posted @ 2024-01-03 09:14 珊瑚贝博客阅读(977) 评论(0) 推荐(0) 编辑

2024年1月2日

ssl_client_socket_impl.cc(992) handshake failed；returned -1,SSL error code 1,net_error -103

摘要：解决方案该提示是由于不安全的地址导致的，需要把这个错误屏蔽掉，可以使用 --ignore-certificate-errors 来屏蔽。屏蔽后发现还有其他错误提示，也一并解决了。主要添加了三项： # 忽略证书错误 options.add_argument('--ignore-certificate- 阅读全文

posted @ 2024-01-02 17:27 珊瑚贝博客阅读(1023) 评论(0) 推荐(0) 编辑

2023年12月27日

Python采集html页面时如何去除掉script,link等指定html标签

摘要： python爬虫去除html中特定标签、去除注释、替换实体前言：本文主要讲w3lib库的四个函数 html.remove_tags() html.remove_tags_with_content() html.remove_comments() html.remove_entities() remo 阅读全文

posted @ 2023-12-27 15:50 珊瑚贝博客阅读(424) 评论(0) 推荐(0) 编辑

Scrapy：没有名为“scrapy.contrib”的模块

摘要： scrapy.contrib现在已经过时了。在1.6版本的scrapy中将其删除。有关更多详细信息，请参见https://docs.scrapy.org/en/latest/news.html#deprecation-removals 阅读全文

posted @ 2023-12-27 15:34 珊瑚贝博客阅读(26) 评论(0) 推荐(0) 编辑

Mysql根据字段值的长度查找过滤，排序等

摘要： Mysql根据字段值的长度查找过滤，排序等 http://www.shanhubei.com/archives/5882.html 1.Mysql 根据字段的指定长度搜索过滤 SELECT * FROM user WHERE is_deleted= 0 AND length(name) > 52.添阅读全文

posted @ 2023-12-27 11:29 珊瑚贝博客阅读(90) 评论(0) 推荐(0) 编辑

详解 golang 中获取变量类型的3种方法

摘要： package main import ( "fmt" "reflect" ) func main() { var num float64 = 3.14 // 方法1： println(reflect.TypeOf(num).Name()) // 方法2： fmt.Println(reflect.T 阅读全文

posted @ 2023-12-27 11:22 珊瑚贝博客阅读(223) 评论(0) 推荐(0) 编辑

2023年12月26日

json 数组查找数据的几种方式，包括模糊查找

摘要：来源：http://www.shanhubei.com/archives/3418.html 在 JavaScript 中，有几种常见的方式可以用来查找 JSON 数组中的数据。下面介绍了其中的几种方式：1.使用 find() 方法： find() 方法用于在数组中查找满足指定条件的第一个元素，并返阅读全文

posted @ 2023-12-26 15:32 珊瑚贝博客阅读(402) 评论(0) 推荐(0) 编辑

2023年12月25日

scrapy中运行一段时间报错pymysql.err.InterfaceError: (0, '')

摘要：错误信息 Traceback (most recent call last): File "/home/anaconda3/envs/python36/lib/python3.6/site-packages/twisted/python/threadpool.py", line 250, in in 阅读全文

posted @ 2023-12-25 16:19 珊瑚贝博客阅读(52) 评论(0) 推荐(0) 编辑

2023年12月22日

常用xpath选择器和css选择器总结

摘要： xpath选择器表达式说明 article 选取所有article元素的所有子节点 /article 选取根元素article article/a 选取所有属于article的子元素的a元素 //div 选取所有div子元素（不论出现在文档任何地方） article//div 选取所有属于arti 阅读全文

posted @ 2023-12-22 16:53 珊瑚贝博客阅读(72) 评论(0) 推荐(0) 编辑

公告