摘要:
最近在刷题时,有一道题需要判断下2个字符串是否相等 开始的时候,是用"is"来进行判断的,例如 a is b 但是实际运行时,发现并未得到预期的判断结果(看来里面发生了什么我不知道的事情~~) 网上冲浪一番,很轻松就找到了答案 原文传送门:https://www.zhihu.com/question 阅读全文
摘要:
记录一篇配置文档:在 pycharm 中配置 gitee 参考文档: https://blog.csdn.net/RoninYang/article/details/103159463 https://www.cnblogs.com/yoyoblogs/p/11152365.html https:/ 阅读全文
摘要:
上一节使用scrapy成功提取到 https://imgbin.com/free-png/naruto/ 第一页所有图片的下载链接 本节在之前的基础上,实现如下2个功能: 1、提取前10页的图片下载链接 2、下载图片至本地 一、提取指定页数图片 网站向后翻页,链接的后缀会发生如下变化 https:/ 阅读全文
摘要:
之前在写爬虫时,都是自己写整个爬取过程,例如向目标网站发起请求、解析网站、提取数据、下载数据等,需要自己定义这些实现方法等 这个周末把之前买的一个scrapy爬虫课程翻了出来(拉钩教育《52讲轻松搞定网络爬虫》,有兴趣的可以去看看),初步学习了一下scrapy的使用方法,刚好把以前写好的一个爬虫用s 阅读全文
摘要:
问题背景 调试脚本时,遇到一个问题:ImportError: cannot import name 'A' from 'study_case.a' (/Users/rchera/PycharmProjects/test/study_case/a.py) 具体情况是这样婶儿的: 前些日子写了一个py文 阅读全文
摘要:
昨晚无聊在看自己博客时,发现页面底部存在一些广告或推荐新闻等信息,突然觉得有点碍眼,我要把它们干掉!!! 1、首先查看这些区域的html元素位置 上图框出来的div标签,就是页面上的一些占位区域,只需要把这些标签隐藏掉即可 2、打开博客园设置页面,找到“页面定制css代码” 3、添加css代码,隐藏 阅读全文
摘要:
说明 在进行接口测试时,经常会遇到不同接口间传递参数的情况,即一个接口的某个参数需要取另一个接口的返回值; 在平常写脚本过程中,我经常会在同一个py文件中,把相关接口的调用方法都写好,这样在同一个文件中能够很方便的进行调用; 后来随着功能增多,在写其他py文件时,有时也会先调用某个相同的接口来获取参 阅读全文
摘要:
前言 在刚开始学习python的时候,有看到过迭代器和生成器的相关内容,不过当时并未深入了解,更谈不上使用了 前两天在网上冲浪时,又看到了几篇关于生成器的文章,想到之前写的爬虫代码,其实是可以用生成器来改造一下的,所以本次就使用生成器来优化一下爬虫代码 关于python迭代器、生成器的知识,推荐几篇 阅读全文
摘要:
背景 前段时间学习了python的多线程爬虫,当时爬取一个图片网站,开启多线程后,并没有限制线程的数量,也就是说,如果下载1000张图片,会一次性开启1000个子线程同时进行下载 现在希望控制线程数量:例如每次只下载5张,当下载完成后再下载另外5张,直至全部完成 查了一些资料,发现在python中, 阅读全文
摘要:
之前有写过一个生成电话号码的脚本,主要是因为当时在测的一个项目,需要用到大量的新手机号 在后期项目测试过程中,确实一直在借助这个脚本帮我造新号码,但是使用过程中也逐渐意识到一个问题:电话号码去重不是很彻底 原先的写法如下: 1 import random 2 3 list_1 = ["134", " 阅读全文