摘要：
回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整 阅读全文
摘要：
<!-- flowchart 箭头图标 勿删 --> （1）各个进制的符号：b:二进制；o:八进制；d:十进制；x:十六进制 在python中，bin(),oct(),hex()返回值均为字符串而且会带有0b,0o,0o前缀 (2)各个进制相互转换 a)十进制转换二进制： 十进制转换二进制： #co 阅读全文
摘要：
概要 基于终端指令的持久化存储 基于管道的持久化存储 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 s 阅读全文
摘要：
黑客技术一度被认为是一个神秘的特有领域，随着技术的进步和领域环境的进步，它已经成为一种非常普遍的现象。黑客技术可以用于有害目的，也可以用于发现系统中的漏洞，并通知系统属主，帮助他们更好地保护系统。 借助于一些工具及其基本知识，黑客可以更高效地执行安全测试，这对他们的任务有很大帮助。以下介绍黑客十大常 阅读全文
摘要：
概要： 图片懒加载 selenium phantomJs 谷歌无头浏览器 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- im 阅读全文