随笔分类 - 爬虫
请求库：request-selenium-urllib
解析库：beautifulsoup
数据库：MongoDB
Scrapy异步框架
摘要：阅读目录 1、获取 url 2、开始采集 3、存入 mysql 本文是爬虫及可视化的练习项目，目标是爬取猫眼票房的全部数据并做可视化分析。 目录 1、获取 url 2、开始采集 3、存入 mysql 回到顶部 1、获取 url 我们先打开猫眼票房 http://piaofang.maoyan.com
阅读全文
摘要：文章目录 案例 1：爬取百度产品列表 案例 2：爬取新浪新闻指定搜索内容 案例 3：爬取百度贴吧前十页（get 请求） 案例 4：爬取百度翻译接口 案例 5：爬取菜鸟教程的 python100 例 案例 6：登录人人网（cookie） 案例 7：登录人人网（session） 案例 8：爬取猫眼电影（
阅读全文
摘要：1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.com/，然后把爬取结果保存到 MySQL 数据库。 2. 准备工作 首先需要准备并正常运行前文中所介绍的代理池。这里需要用的 Pyt
阅读全文
摘要：前提：爬虫的实际例子 搜索引擎（百度、谷歌、360搜索等）。 伯乐在线。 惠惠购物助手。 数据分析与研究（数据冰山知乎专栏）。 抢票软件等。 为什么用Python写爬虫程序： PHP：PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对
阅读全文
摘要：spiders 介绍：在项目中是创建爬虫程序的py文件 #1、Spiders是由一系列类（定义了一个网址或一组网址将被爬取）组成，具体包括如何执行爬取任务并且如何从页面中提取结构化的数据。 #2、换句话说，Spiders是你为了一个特定的网址或一组网址自定义爬取和解析页面行为的地方 Spiders会
阅读全文
摘要：存储库MongoDB 存储在硬盘的非关系型数据库，即表与表之间没有关联关系，提高了伸缩性和可扩展性，查找速度更快。 简介： MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为WEB应用提供可
阅读全文
摘要：补充知识 根据看别人打代码，使用的模块，封装的方法。 PyExecJS、python Click（定制命令）、gunicorn(是一个wsgi协议的web服务器)结合Flask后端部署。 手机爬虫 抓包工具： 前提条件: 1).电脑需要安装Fiddler 2).测试手机需要支持Wifi 3).测试手
阅读全文
摘要：requests模块其他用法 响应Response 1、response属性 import requests respone=requests.get('http://www.jianshu.com') # respone属性 print(respone.text) # 获取响应的数据的文本 pri
阅读全文
摘要：深浅拷贝 内存地址基于小整数池概念： Python为了优化速度，使用了小整数对象池， 避免为整数频繁申请和销毁内存空间。Python 对小整数的定义是 [-5, 256] 这些整数对象是提前建立好的，不会被垃圾回收。在一个 Python 的程序中，无论这个整数处于LEGB中的哪个位置，所有位于这个范
阅读全文
