摘要：
一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个过程还算 阅读全文
摘要：
一、MongoDB简介 MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成，MongoDB文档类似于JSON对象，字段值可以包含其他文档，数组及文档数 阅读全文
摘要：
一、写在前面： 我们都知道Python一种面向对象的脚本语言，对象是Python中非常重要的一个概念。在Python中数字是对象，字符串是对象，任何事物都是对象，而它们的核心就是一个结构体--PyObject。 typedef struct_object{ int ob_refcnt; struct 阅读全文
摘要：
很难受，由于这两天重装了系统，又得重新配置环境了，而我在安装tesserocr的时候踩了一些坑，于是想写出来分享一下。 一.安装tesseract 要安装tesserocr，首先要下载tesseract，它是给tesserocr提供支持的。下载地址为：https://digi.bib.uni-man 阅读全文
摘要：
1.哪个是True，哪个是False？ 这里要看三组代码： # 第一组： >>>a=256 >>>b = 256 >>>a is b # 第二组： >>>a = 257 >>>b = 257 >>>a is b # 第三组： >>>a = 257; b = 257 >>>a is b 问题来了，这三 阅读全文
摘要：
一、写在前面 当你看着你的博客的阅读量慢慢增加的时候，内心不禁有了些小激动，但是不得不吐槽一下--博客园并不会显示你的博客的总阅读量是多少。而这一篇博客就将教你怎么利用队列这种结构来编写爬虫，最终获取你的博客的总阅读量。 二、必备知识 队列是常用数据结构之一，在Python3中要用queue这个模块 阅读全文
摘要：
上一篇博客的末尾说到全网代理IP的端口号是经过加密混淆的，而这一篇博客就将告诉你如何破解！如果觉得有用的话，不妨点个推荐哦~ 一、全网代理IP的JS混淆 首先进入全网代理IP，打开开发者工具，点击查看端口号，看起来貌似没有什么问题： 如果你已经爬取过这个网站的代理，你就会知道事情并非这么简单。如果没 阅读全文
摘要：
这一篇博客，还是接着说那些常见的反爬虫措施以及我们的解决办法。同样的，如果对你有帮助的话，麻烦点一下推荐啦。 一、防盗链 这次我遇到的防盗链，除了前面说的Referer防盗链，还有Cookie防盗链和时间戳防盗链。Cookie防盗链常见于论坛、社区。当访客请求一个资源的时候，他会检查这个访客的Coo 阅读全文
摘要：
这一篇博客，是关于反反爬虫的，我会分享一些我遇到的反爬虫的措施，并且会分享我自己的解决办法。如果能对你有什么帮助的话，麻烦点一下推荐啦。 一、UserAgent UserAgent中文名为用户代理，它使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本等信息。对于一些网站来说，它会 阅读全文
摘要：
一、写在前面 有时候你的爬虫刚开始的时候可以正常运行，能够正常的爬取数据，但是过了一会，却出现了一个“403 Forbidden"，或者是”您的IP访问频率太高“这样的提示，这就意味着你的IP被ban了，好一点的情况是过一段时间你就能继续爬取了，坏一点的情况就是你的IP已经进入别人的黑名单了，然后你 阅读全文