摘要：
``` if request.META.get('HTTP_X_FORWARDED_FOR'): ip = request.META.get("HTTP_X_FORWARDED_FOR") else: ip = request.META.get("REMOTE_ADDR") print("ip : ", ip) ``` 阅读全文
摘要：
redis主从复制 话不多说,直接看案例: 1. 环境准备, 运行3个redis数据库,达到 1主 2从的配置 2. 开启主从复制功能 edis cli info 查看数据库信息 redis cli info replication 在6380 和6381数据库上 ,配置主从信息,通过参数形式修改配 阅读全文
摘要：
selenium 概念:基于浏览器自动化的一个模块,可以模拟浏览器行为 环境的安装:下载selenium模块 selenium和爬虫之间的关联是什么? 便捷的获取页面中动态加载的数据 requests模块进行数据爬取:可见非可得 selenium:可见即可得 实现模拟登录 基本操作: 谷歌浏览器驱动 阅读全文
摘要：
增量式爬虫 概念:检测网站数据跟新的情况,爬取更新数据 核心:去重!!! 增量式爬虫 深度爬取类型的网站中需要对详情页的url进行记录和检测 记录:将爬取过的详情页的url进行记录保存 url存储到redis的set中 redis的sadd方法存取时,如果数据存在返回值为0,如果不存在返回值为1; 阅读全文