摘要：在每一次学习一个新东西之前，需要知道的几个问题。这个东西是什么(what),怎么使用(how)，为什么(why) scrapy的概念：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的框架。 scrapy的作用：通过少量代码实现快速抓取。 scrapy一共有5个模块和2个中间件，模块分别是S 阅读全文

摘要：以往编写的一个爬取百度贴吧的小爬虫，发布出来，供大家参考。 本爬虫是在pycharm中编写完成，服务器环境是ubuntu16.04，使用语言是python3，导入的模块包是requests模块 # 导入模块 import requests # 定义百度贴吧爬虫类 class TiebaSpider( 阅读全文