wind_y - 博客园

2020年4月22日

摘要： 1. 打开cmd 2. 想将项目放在C:\python\PycharmProjects\scrapy_demo文件夹下，cd到该目录下 3. 输入创建项目命令：scrapy startproject project_name 4. 使用pycharm打开项目所在目录 5. 文件说明 items.py 阅读全文

posted @ 2020-04-22 13:23 wind_y 阅读(207) 评论(0) 推荐(0) 编辑

scrapy shell 使用案例

摘要： 1. 使用scrapy shell http://bj.maitian.cn/esfall访问麦田房产北京的二手房，得到response:第一页的html 2. 目标：获取标题、价格、面积、区的信息 3. 标题：response.xpath('//div[@class="list_title"] 阅读全文

posted @ 2020-04-22 12:42 wind_y 阅读(173) 评论(0) 推荐(0) 编辑

scrapy shell的使用

摘要： 1. 首先安装scrapy：pip install scrapy 2. 为什么使用scrapy shell？ Scrapy终端是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。其实相当于一个python终端，其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python 阅读全文

posted @ 2020-04-22 11:05 wind_y 阅读(246) 评论(0) 推荐(0) 编辑

2020年4月21日

python爬虫框架—scrapy

摘要： scrapy的架构图： engine：引擎：控制数据流的流向四大组件： scheduler：调度器：处理requests，排队再返回给engine downloader：下载器：把requests变为response再返回给engine spiders：爬虫：解析response变为items/r 阅读全文

posted @ 2020-04-21 21:30 wind_y 阅读(174) 评论(0) 推荐(0) 编辑

mysql使用三

摘要： ER模型关系：不建议表与表之间建立循环的关系闭合多表约束产生关系如果有删除修改操作，对应的关联表数据，就会报错逻辑删除解决这个问题先建表在约束： alter table scores add constraint stu foreign key(stuid) referrnces s 阅读全文

posted @ 2020-04-21 20:43 wind_y 阅读(147) 评论(0) 推荐(0) 编辑

mysql使用二

摘要：数据操作：总结： 1.只要数学表达式中有Null出现，最终结果都是Null。（所有数据库都是这样规定的）解决：ifnull:空处理函数 ifnull(可能为null的字段,被当做什么处理) eg:ifnull(sal,0) 2.执行顺序： select 5 选出数据 XXX from 1 XXX 阅读全文

posted @ 2020-04-21 20:39 wind_y 阅读(177) 评论(0) 推荐(0) 编辑

mysql使用一

摘要： mysql：关系型数据库 E-R模型：E：实体entry——表 R：关系表表关系：一对一、一对多、多对多三范式：1.列不可拆分：字段要够小 2.唯一标志 3.引用主键约束：主键 primary key 、非空 not null、唯一 unique、默认 default、外键 foreign 阅读全文

posted @ 2020-04-21 20:29 wind_y 阅读(216) 评论(0) 推荐(0) 编辑

mysql—python交互

摘要：安装pymysql import pymysql 1.链接数据库连接对象connection try: conn=pymysql.Connect( host="localhost", port=3306, db="er", user="root", passwd="password", chars 阅读全文

posted @ 2020-04-21 17:51 wind_y 阅读(103) 评论(0) 推荐(0) 编辑

mysql—自关联

摘要：省表，城市表，将省城市区放在一个表里实现数据存储和查询 pid 关联自己的id：在同一张表里省表结构provinces：id，ptitle 市表结构citys ：id, ctitle, provid citys表的proid表示城市所属的省，对应着provinces表的id值观察两张表发现，c 阅读全文

posted @ 2020-04-21 16:53 wind_y 阅读(2020) 评论(0) 推荐(0) 编辑

mysql——导入数据库文件

摘要： 1.首先先下载好数据库文件 2.cd：当前路径（文件所在的） 3.进入mysql，执行：use 目标数据库名 4.导入文件：source 数据库文件名当然也可以直接进行第4步，但会报错：由于路径中包含\m或\s 文件最好直接放在D盘或e盘下。阅读全文

posted @ 2020-04-21 10:48 wind_y 阅读(1106) 评论(0) 推荐(0) 编辑

三夕

公告