03 2020 档案
摘要：redis 提供 6种数据淘汰策略 淘汰策略的原因 在 redis 中，允许用户设置最大使用内存大小 server.maxmemory，在内存限定的情况下是很有用的。譬如，在一台 8G 机子上部署了 4 个 redis 服务点，每一个服务点分配 1.5G 的内存大小，减少内存紧张的情况，由此获取更为
阅读全文
摘要：scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据
阅读全文
摘要：redis由于测试产生了一批垃圾数据,想要批量删除之 默认db0,redis-cli 带参数 -n可以指定数据库,完整命令: redis-cli -h DB_port -a DB_pwd -n DB_idx keys “key_prefix*” | xargs redis-cli -h DB_por
阅读全文
摘要：scrapy异常状态码处理 在setting.py中加入 scrapy 的 state 默认只处理200到300之间 # 403状态的响应不被自动忽略，对403 的响应做个性化处理 HTTPERROR_ALLOWED_CODES = [403] # 遇到错误忽略掉不重新请求，则设成[] RETRY_
阅读全文
