摘要: github对应代码:伯乐在线文章爬取 一. 普通插入方法 1. 连接到我的阿里云,用户名是test1,然后在navicat中新建数据库 2. 修改爬虫文件中日期的类型为date类型,原先是string 3. 参照items.py在navicat中创建表 注意: 1)content类型是longte 阅读全文
posted @ 2018-09-14 14:08 坚强的小蚂蚁 阅读(438) 评论(0) 推荐(0) 编辑
摘要: 一. 爬取http://blog.jobbole.com/all-posts/中的所有文章 1. 编写jobbole.py简单代码 import scrapy from scrapy.http import Request from urllib import parse class Jobbole 阅读全文
posted @ 2018-09-14 13:50 坚强的小蚂蚁 阅读(566) 评论(0) 推荐(0) 编辑