2020年2月1日
python爬虫笔记（七）网络爬虫之框架（3）——Scrapy爬虫框架（实例2：股票定向爬虫）
摘要： 1. 股票定向爬虫 2. 实例编写 2.1 建立工程和spider模板 （2）配置stocks.py文件 # -*- coding: utf-8 -*- import scrapy import re class StocksSpider(scrapy.Spider): name = 'stocks 阅读全文
posted @ 2020-02-01 17:38 douzujun 阅读(321) 评论(0) 推荐(0) 编辑
python爬虫笔记（七）网络爬虫之框架（2）——Scrapy爬虫框架（实例1）
摘要： 1. 第一个scrapy实例 1.1 建立一个Scrapy爬虫工程 scrapy startproject python123demo 1.2 在工程中产生一个scrapy爬虫 （1）生成一个demo的爬虫 scrapy genspider demo python123demo.io 1.3 配置产 阅读全文
posted @ 2020-02-01 03:02 douzujun 阅读(322) 评论(0) 推荐(0) 编辑
python爬虫笔记（七）网络爬虫之框架（1）——Scrapy爬虫框架（安装及坑）
摘要： 1. scrapy安装(https://www.osgeo.cn/scrapy/intro/install.html) 建议直接使用anaconda安装，方便快捷，pip安装会遇到很多问题！！！！http://www.scrapyd.cn/doc/124.html conda install -c 阅读全文
posted @ 2020-02-01 01:53 douzujun 阅读(386) 评论(0) 推荐(0) 编辑
conda install安装太慢如何提速
摘要： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls yes 显示全部镜像： conda config --s 阅读全文
posted @ 2020-02-01 01:52 douzujun 阅读(4227) 评论(0) 推荐(0) 编辑