摘要：
部署scrapy爬虫项目到6800上 启动scrapyd 出现问题 1： scrapyd-deloy -l 未找到相关命令 scrapyd-deploy -l 可以看到当前部署的爬虫项目，但是当我输入这段命令的时候显示这个命令不存在或者有错误、不合法之类的。 解决办法： 添加配置文件 scrapy. 阅读全文
|
摘要：
部署scrapy爬虫项目到6800上 启动scrapyd 出现问题 1： scrapyd-deloy -l 未找到相关命令 scrapyd-deploy -l 可以看到当前部署的爬虫项目，但是当我输入这段命令的时候显示这个命令不存在或者有错误、不合法之类的。 解决办法： 添加配置文件 scrapy. 阅读全文
摘要：
1.创建爬虫项目： scrapy startproject tutorial 2.创建 spider cd tutorial scrapy genspider quotes quotes.toscrape.com 如下图： 3. quotes.py _________________________ 阅读全文
摘要：
（为编写完善能拿下来数据） 企查查代码数据如下： 阅读全文
摘要：
#这里数字转换主要是为了解决网站返回虚假数据的问题，但写完才发现网站的数字是有自己的一套机制的，而不是固定的，因此不好解决，那就当回顾一下re匹配知识吧。 1 str="1332-31-15" 2 3 4 # print(str[:-5]) 5 # print(str1[:-5]) 6 7 8 import re 9 10 11 # print(A) 12 # pr... 阅读全文
摘要：
！！！！本节就是解决天眼查爬虫问题：！！！！（看完有建议和想法的话记得交流一下） 主要思路 绕过验证，使用代理ip，间接的通过手机端mbaidu.com 通过字符串拼接的方式获取搜索天眼查网页数据。 重点： 1.这里我采用的是python3+selenium+chromedriver写的代码，主要问 阅读全文
摘要：
1.extract()：提取数据 2./text() :获取节点内容文本 3./@href :获取节点href属性 4. @ :获取属性名称 需要注意问题： 用定义的规则那所有符合要求的节点获取下来，返回的类型是列表类型。 但是如果节点只有一个就会出现错误: 大多数情况下，想要的是第一个元素的内容， 阅读全文
摘要：
Selector是一个独立的模块。 Selector主要是与scrapy结合使用的。 开启Scrapy shell: 1.打开命令行cmd 2.scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html 进入 阅读全文
摘要：
目标：创建scrapy项目 创建一个spider来抓取站点和处理数据 通过命令行将抓取内容导出 1.创建项目 scrapy startproject tutorial 2.创建spider cd tutorial scrapy genspider quotes quotes.toscrape.com 阅读全文
摘要：
导入包 from pymysql import* 1. 创建 Connection 连接 conn=conne（host='192.168.13.130',port=3306 ,database='',user='root',password='qwer',charset='utf8'） 2. 获得 阅读全文
摘要：
1. ER图分为实体、属性、关系三个核心部分 ER图的属性有 ： 一对一 一对多 多对多 2. ◆第一范式（1NF）：强调的是列的原子性，即列不能够再分成其他几列。 ◆ 第二范式（2NF）：首先是 1NF，另外包含两部分内容，一是表必须有一个主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只 阅读全文
|