10 2019 档案

摘要:HTML表单一直是交互性网站的支柱,使用form组件对用户通过表单提交的数据进行访问、有效性检查以及其他处理 从Request对象中获取数据 URL相关信息 | 属性/方法 | 说明 | 举例 | | | | | | request.path | 除域名外的请求路径,以正斜杠开头 | "/hello 阅读全文
posted @ 2019-10-29 20:21 Sroxi 阅读(225) 评论(0) 推荐(0) 编辑
摘要:Django数据库层解决的问题 在本例的视图中,使用了pymysql 类库来连接 MySQL 数据库,取回一些记录,将它们提供给模板以显示一个网页: 这个方法可用,但很快一些问题将出现在你面前: 我们将数据库连接参数硬行编码于代码之中。 理想情况下,这些参数应当保存在 Django 配置中。 我们不 阅读全文
posted @ 2019-10-17 13:34 Sroxi 阅读(228) 评论(0) 推荐(0) 编辑
摘要:django框架2——模板 直接将HTML硬编码到你的视图里却并不是一个好主意: 1. 对页面设计进行的任何改变都必须对 Python 代码进行相应的修改。 站点设计的修改往往比底层 Python 代码的修改要频繁得多,因此如果可以在不进行 Python 代码修改的情况下变更设计,那将会方便得多 2 阅读全文
posted @ 2019-10-15 17:00 Sroxi 阅读(196) 评论(0) 推荐(0) 编辑
摘要:三个命令 1.创建一个django项目 在cmd中: 2.创建应用 3.运行django项目 浏览器输入:127.0.0.1:8999就可以访问到django自带的欢迎页面 第一个视图 ​ 创建一个基于Django的页面:Hellow World ​ 使用Django,页面的内容是靠view fun 阅读全文
posted @ 2019-10-10 19:44 Sroxi 阅读(377) 评论(0) 推荐(0) 编辑
摘要:os.makedirs('dirname1/dirname2') 可生成多层递归目录 os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推 os.mkdir('dirname') 生成单级目录;相当于shell中mkdir dirn 阅读全文
posted @ 2019-10-09 12:21 Sroxi 阅读(96) 评论(0) 推荐(0) 编辑
摘要:一、下载中间件 下载中间件是scrapy提供用于用于在爬虫过程中可修改Request和Response,用于扩展scrapy的功能;比如: 1. 可以在请求被Download之前,请求头部加上某些信息(例如:user agent,proxy); 2. 完成请求之后,回包需要解压等处理;(seleni 阅读全文
posted @ 2019-10-09 11:01 Sroxi 阅读(358) 评论(0) 推荐(0) 编辑
摘要:当使用scrapy爬取的数据不在同一张页面中(一次请求与数据后解析无法获得想要的全部数据),需要请求传参,在第一次解析时实例化item,将item传递,再次将请求到的数据解析后,封装在item中。 关键点 例如在豆瓣中,电影封面页获取电影名称,在详情页获取电影简介: ​ 先从起始网页解析出电影名称和 阅读全文
posted @ 2019-10-08 19:50 Sroxi 阅读(302) 评论(0) 推荐(0) 编辑
摘要:scrapy简介 ​ Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中 scrapy的执行流程 Scrapy主要包括了以下组件: 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器( 阅读全文
posted @ 2019-10-08 17:51 Sroxi 阅读(445) 评论(0) 推荐(0) 编辑
摘要:一、设置与编写 打开cmd,选择好路径 1.创建项目 2.生成模板 d:\爬虫\11.scrapy\testproject python coding: utf 8 import scrapy class TestspiderSpider(scrapy.Spider): name = 'testsp 阅读全文
posted @ 2019-10-08 09:40 Sroxi 阅读(186) 评论(0) 推荐(0) 编辑
摘要:一、简介 selenium自动化测试工具,爬虫中主要解决浏览器渲染的问题,过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果。 二、安装 模块安装:pip install selenium chrome浏览器驱动下载 http://chromedriver.s 阅读全文
posted @ 2019-10-07 21:25 Sroxi 阅读(203) 评论(0) 推荐(0) 编辑
摘要:要点: 1.resquests模块不支持异步,在需要异步的地方使用aiohttp模块进行替换 2.定义一个 协程函数 ,创建协程任务,将 协程 打包为一个 Task 排入日程准备执行。返回 Task 对象 ​ 获取当前事件循环,开启循环 ​ async def func(arge): ​ task 阅读全文
posted @ 2019-10-07 21:18 Sroxi 阅读(145) 评论(0) 推荐(0) 编辑
摘要:多线程下载 梨视频下载为例 要点: 1.获取所有视频的url,定义下载函数getdata 2.将下载数据保存到列表,定义数据保存函数savefunc 3.from multiprocessing.dummy import Pool ​ pool = Pool(4) ​ pool.get(getdat 阅读全文
posted @ 2019-10-05 21:45 Sroxi 阅读(212) 评论(0) 推荐(0) 编辑
摘要:1.数据透视 所在选项卡:插入—数据透视表 例如:查看下表中各个工龄的平均工资 数据透视:选择所有数据——数据透视表——数据透视字段:选择工作经验和salary 切片器的使用,根据工作经验进行切片(还可插入图表) 2.分列 所在选项卡:数据—分列 数据—分列—勾选分隔符号—其他中输入分割字段,如下图 阅读全文
posted @ 2019-10-02 10:02 Sroxi 阅读(172) 评论(0) 推荐(0) 编辑
摘要:1. year 返回对应于某个日期的年份。 2. month 返回对应于某个日期的月份。 3. day 返回对应于某个日期的年份。 4. weekday 返回对应于某个日期的天数。 5. weeknum 返回对应日期在本年中是第几周 6. now 返回当前时间,例如:2019/10/1 16:20 阅读全文
posted @ 2019-10-01 16:42 Sroxi 阅读(663) 评论(0) 推荐(0) 编辑
摘要:Excel逻辑运算函数 1.FALSE和TRUE的使用 ​ 筛选出表中salary 6、gender为男、age 28至少满足这三个条件中的两个的数据 2.IF(logical_test, value_if_true, [value_if_false]) ​ logical_test为条件,valu 阅读全文
posted @ 2019-10-01 16:39 Sroxi 阅读(897) 评论(0) 推荐(0) 编辑
摘要:Excel计算、统计函数 1.=SUMPRODUCT(array1,[array2]...) ​ 返回对应的区域或数组的乘积之和。 默认运算是乘法,但加、减和除也可能。 2.=COUNT 计数 3.=MAX 最大值 4.=MIN 最小值 5.=RANDBETWEEN(bottom, top) ​ 生 阅读全文
posted @ 2019-10-01 16:32 Sroxi 阅读(611) 评论(0) 推荐(0) 编辑
摘要:1.=VLOOKUP (lookup_value, table_array, col_index_num, [range_lookup]) ​ lookup_value 相当于python中的键,用来关联值 ​ table_array 表名!列名1:列名2 两列名是已经创建好的并有关联的 (如:员工 阅读全文
posted @ 2019-10-01 07:50 Sroxi 阅读(1946) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示