摘要: #!/user/bin/env python # -*- conding:utf-8 -*- import requests from lxml import etree import json class BtcSpider(object): def __init__(self): self.base_url = 'https://8btc.com/forum-61-'... 阅读全文
posted @ 2019-03-13 22:36 离去墨染 阅读(370) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/env python # _*_ coding: utf-8 _*_ # __author__ ='kong' from selenium import webdriver import os import time class GetCartoon(object): def __init__(self): self.startUrl = "... 阅读全文
posted @ 2019-03-13 22:33 离去墨染 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 目标:爬取全国报刊名称及地址 链接:http://news.xinhuanet.com/zgjx/2007-09/13/content_6714741.htm 目的:练习scrapy爬取数据 学习过scrapy的基本使用方法后,我们开始写一个最简单的爬虫吧。 目标截图: 1、创建爬虫工程 1 2 $ 阅读全文
posted @ 2019-03-13 22:30 离去墨染 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 创建scrapy工程 1 2 cd C:\Spider_dev\app\scrapyprojects scrapy startproject renren 1 2 cd C:\Spider_dev\app\scrapyprojects scrapy startproject renren 1 2 c 阅读全文
posted @ 2019-03-13 22:28 离去墨染 阅读(630) 评论(0) 推荐(0) 编辑
摘要: 1、创建工程 1 scrapy startproject movie 1 scrapy startproject movie 1 scrapy startproject movie scrapy startproject movie 2、创建爬虫程序 1 2 cd movie scrapy gens 阅读全文
posted @ 2019-03-13 22:27 离去墨染 阅读(734) 评论(0) 推荐(0) 编辑