摘要：
前言 一般我们都会将数据爬取下来保存在临时文件或者控制台直接输出，但对于超大规模数据的快速读写，高并发场景的访问，用数据库管理无疑是不二之选。首先简单描述一下MySQL和MongoDB的区别：MySQL与MongoDB都是开源的常用数据库，MySQL是传统的关系型数据库，MongoDB则是非关系型数 阅读全文
摘要：
我们知道，有的网页必须要登录才能访问其内容。scrapy登录的实现一般就三种方式。 1.在第一次请求中直接携带用户名和密码。 2.必须要访问一次目标地址，服务器返回一些参数，例如验证码，一些特定的加密字符串等，自己通过相应手段分析与提取，第二次请求时带上这些参数即可。可以参考https://www. 阅读全文
摘要：
1.打开赶集网登录界面，先模拟登录并抓包，获得post请求的request参数 2. 我们只需构造出上面的参数传入formdata即可 参数分析： setcookie：为自动登录所传的值，不勾选时默认为0。 __hash__值的分析：只需要查看response网页源代码即可 ，然后用正则表达式提取。 阅读全文