随笔分类 - Scrapy

scrapy爬虫出现Forbidden by robots.txt

摘要：scrapy爬虫出现Forbidden by robots.txt scrapy爬虫出现Forbidden by robots.txt 阅读全文

posted @ 2017-12-14 22:20 GordonDicaprio 阅读(246) 评论(0) 推荐(0) 编辑

python&pandas 与mysql 连接

摘要：python&pandas 与mysql 连接阅读全文

posted @ 2017-12-11 20:53 GordonDicaprio 阅读(216) 评论(0) 推荐(0) 编辑

python 找不到mysqldb模块(ImportError: DLL load failed: 找不到指定的模块)

摘要：python 找不到mysqldb模块(ImportError: DLL load failed: 找不到指定的模块) 阅读全文

posted @ 2017-12-11 17:33 GordonDicaprio 阅读(1258) 评论(0) 推荐(0) 编辑

python - 手动安装 mysql-python模块时出现is not a supported wheel on this platform.

摘要：安装MySQL_Python时出现is not a supported wheel on this platform. 阅读全文

posted @ 2017-12-11 17:31 GordonDicaprio 阅读(420) 评论(0) 推荐(0) 编辑

Windows安装mysql-python提示：error: Microsoft Visual C++ 9.0 is required

摘要：Windows安装mysql-python提示：error: Microsoft Visual C++ 9.0 is required 阅读全文

posted @ 2017-12-11 17:22 GordonDicaprio 阅读(290) 评论(0) 推荐(0) 编辑

Scrapy 导出的 cvs 文件，双击打开乱码问题

摘要：默认可能是utf8格式，在excel的不要直接打开，而是在excel - 数据 -导入里打开，或者打开前用vscode之类的保存为GBK编码阅读全文

posted @ 2017-12-11 16:20 GordonDicaprio 阅读(246) 评论(0) 推荐(0) 编辑

Scrapy输出CSV指定列顺序

摘要：Scrapy输出CSV指定列顺序阅读全文

posted @ 2017-12-11 16:15 GordonDicaprio 阅读(698) 评论(0) 推荐(0) 编辑

爬取智联招聘信息

摘要：爬取智联招聘。智联html结构：阅读全文

posted @ 2017-12-11 16:09 GordonDicaprio 阅读(901) 评论(0) 推荐(0) 编辑

Scrapy提取多个标签的text

摘要：Scrapy提取多个标签的text 阅读全文

posted @ 2017-12-11 15:53 GordonDicaprio 阅读(404) 评论(0) 推荐(0) 编辑

Scrapy爬虫入门教程十三 Settings（设置） settings from_crawler

摘要：Scrapy爬虫入门教程十三 Settings（设置）阅读全文

posted @ 2017-12-10 17:47 GordonDicaprio 阅读(599) 评论(0) 推荐(0) 编辑

scrapy爬虫框架将数据保存Mysql数据库中

摘要：scrapy爬虫框架将数据保存Mysql数据库中阅读全文

posted @ 2017-12-10 17:37 GordonDicaprio 阅读(292) 评论(0) 推荐(0) 编辑

scrapy 报错 no module named win32api 的解决方案

摘要：解决方案：原因是缺少win32,到 http://sourceforge.net/projects/pywin32/files/ 找到对应的版本进行下载，直接安装即可 Python是没有自带访问windows系统API的库的，需要下载。库的名称叫pywin32，可以从网上直接下载。以下链接地址可阅读全文

posted @ 2017-12-09 22:48 GordonDicaprio 阅读(945) 评论(0) 推荐(0) 编辑

Scrapy安装错误：Microsoft Visual C++ 14.0 is required

摘要：问题描述当前环境win10，python_3.6.1，64位。在windows下，在dos中运行pip install Scrapy报错：解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我阅读全文

posted @ 2017-12-09 22:41 GordonDicaprio 阅读(438) 评论(0) 推荐(0) 编辑

Scrapy documentation

摘要：https://docs.scrapy.org/en/latest/ 阅读全文

posted @ 2017-12-08 12:23 GordonDicaprio 阅读(104) 评论(0) 推荐(0) 编辑