Python 数据爬取（环境变量）

Python 数据爬取（环境变量）

配置scrapy:

进入setting ——>Project Interpreter——>点击+——>搜索scrapy——>Install Package下载

Anaconda3配置环境变量

1）D:\installation\BigData\java\Anaconda3 2）D:\installation\BigData\java\Anaconda3\Scripts 3）D:\installation\BigData\java\Anaconda3\Library\bin

准备爬虫

1）使用Anaconda安装Scrapy：

C:\Users\TUDOUSI>conda install scrapy

2）在C盘PycharmProjects创建ScrapyDemo

C:\Users\TUDOUSI\PycharmProjects\ScrapyDemo\scrapydemo

3）在ScrapyDemo中创建scrapydemo（工程目录）

C:\Users\TUDOUSI\PycharmProjects\ScrapyDemo\scrapydemo

4）在scrapydemo下创建scrapy项目

①C:\Users\TUDOUSI\PycharmProjects\ScrapyDemo>scrapy startproject scrapydemo

②C:\Users\TUDOUSI\PycharmProjects\ScrapyDemo>7cd scrapydemo

5）创建Spider（爬虫）

C:\Users\TUDOUSI\PycharmProjects\ScrapyDemo\scrapydemo>scrapy genspider demo kgc.cn

6）进入pc——>open——>scrapydemo

Debug爬虫工程

在项目根目录添加脚本文件调用Scrapy框架的命令行执行方法启动爬虫 cmdline模块 execute()方法

from scrapy.cmdline import execute execute(xecrapy crawl example_spider'.split()) (example_spider:你的项目的名称)

这样就可以了哈！