摘要: 爬虫经常出现错误,多半是没等待控件加载出来。利用selenium虽然方便,但是还是需要控制一下等待时间。Selenium有两个常见的模块来控制等待。EC(expected_conditions)EC作为预期条件,... 阅读全文
posted @ 2019-12-11 18:28 上周的bug还没搞好 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 本文只是提供一些经验,实际情况下因地制宜。自己做了个Django项目,缓存用的是redis,部署到云服务器上,想要通过爬虫自动化注册账号。话不多说,一步步做。首先要准备账号数据,chorme利用ctrl+shif... 阅读全文
posted @ 2019-12-11 18:28 上周的bug还没搞好 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 后端到前端普通的字典传递exam_list = ExamList.objects.filter(id=exam_id)title = exam_list[0]return render(request, "exa... 阅读全文
posted @ 2019-12-11 18:28 上周的bug还没搞好 阅读(124) 评论(0) 推荐(0) 编辑
摘要: bytes 转换为 strstr(b, encoding = "utf-8") str(b, encoding = "gbk") encoding中写的是原来byte变量的编码 什么类型的编码的字节就要转换... 阅读全文
posted @ 2019-12-11 18:28 上周的bug还没搞好 阅读(750) 评论(0) 推荐(0) 编辑
摘要: selenium被检测可以尝试一下 阅读全文
posted @ 2019-12-10 10:36 上周的bug还没搞好 阅读(4542) 评论(1) 推荐(0) 编辑
摘要: js破解天某查股权穿透图 阅读全文
posted @ 2019-11-28 18:31 上周的bug还没搞好 阅读(2311) 评论(0) 推荐(0) 编辑
摘要: 验证码js破解 阅读全文
posted @ 2019-11-27 09:12 上周的bug还没搞好 阅读(7665) 评论(7) 推荐(1) 编辑
摘要: 记一次纠错大战本来今天开开心心地部署nginx和uwsgi到我的Django服务器,刚想给老师演示一遍我这项目如何酷炫时,一登陆就出现mysql连接不上了(2003, "Can't connect to MySQL server on 'localhost' ([Er... 阅读全文
posted @ 2019-03-15 21:19 上周的bug还没搞好 阅读(462) 评论(0) 推荐(0) 编辑
摘要: 目标地址:http://weixin.sogou.com/weixin?这个地址是搜狗微信的文章搜索,可以搜索到微信的文章,而我们目标就是这些文章内容这个url经过测试,当我们没登陆微信只能看到10页的内容,我们登陆后才可以查看100页的内容,而且翻页多次会出现ip检... 阅读全文
posted @ 2019-03-10 21:25 上周的bug还没搞好 阅读(736) 评论(0) 推荐(0) 编辑
摘要: 在学习python时,不可避免下载了Anaconda,当我打算写爬虫时,urllib,requests,selenium,pyspider都已经安装好了,可以直接使用了,但是有一天我想要使用scrapy模块时,发现竟然没有安装,于是自己参照网上教程写下win64安装s... 阅读全文
posted @ 2019-03-08 17:25 上周的bug还没搞好 阅读(533) 评论(0) 推荐(0) 编辑