用python爬取伯乐在线的准备
1.在pycharm选择编译器
2.创建项目
。
3。出现“No module named” 'win32api'
4.配置main
新建一个main,
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","jobbole"])
在setting.py 中,修改
# Obey robots.txt rules
ROBOTSTXT_OBEY = False