随笔分类 -  爬虫

scrapy框架
该文被密码保护。
posted @ 2018-01-24 22:21 百连 阅读(5) 评论(0) 推荐(0) 编辑
高性能爬虫（线程、进程、协程）
该文被密码保护。
posted @ 2018-01-23 01:17 百连 阅读(5) 评论(0) 推荐(0) 编辑
MangoDB
摘要：《MongoDB权威指南》 一、简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 1、易用性 2、易扩展性 3、丰富的功能 4、卓越的性能 二、MongoDB基础知识 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于p 阅读全文
posted @ 2018-01-21 23:34 百连 阅读(637) 评论(0) 推荐(0) 编辑
beautifulsoup 模块
摘要：一、介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-21 22:22 百连 阅读(151) 评论(0) 推荐(0) 编辑
破解极验滑动验证码
该文被密码保护。
posted @ 2018-01-19 00:51 百连 阅读(15) 评论(0) 推荐(0) 编辑
selenium模块
摘要：官网：http://selenium-python.readthedocs.io 一、背景及用途 二、安装 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版 阅读全文
posted @ 2018-01-19 00:28 百连 阅读(144) 评论(0) 推荐(0) 编辑
requests模块
摘要：一、概念 + 基本 1、requests模块是什么： 使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 阅读全文
posted @ 2018-01-18 00:25 百连 阅读(259) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示