随笔列表第9页 - OLIVER_QIN

2020年4月13日

【Python3 爬虫】U39_selenium爬取拉勾网并将数据存储到csv文件

摘要： [toc] 1.需求背景拉勾网的爬虫是做的很好的，要想从他的网站上爬取数据，那可以说是相当的不容易啊。如果采取一般的requests + xpath解析，很快就能给你识别为爬虫，并提示你操作频繁。基于这种情况，只能使用selenium来进行爬取，并且在爬取的时候还不能太快，太快也容易闪到腰的，下面阅读全文

posted @ 2020-04-13 14:33 OLIVER_QIN 阅读(882) 评论(0) 推荐(0)

2020年4月12日

【Oracle11g】15_索引

摘要： [toc] 1.索引简介 1）索引是与表相关的一个可选结构 2）用以提高 SQL 语句执行的性能 3）减少磁盘I/O 4）使用 CREATE INDEX 语句创建索引 5）在逻辑上和物理上都独立于表的数据 6）Oracle 自动维护索引 2.索引的分类索引分为：B树索引（平衡树索引）、位图索引。阅读全文

posted @ 2020-04-12 23:14 OLIVER_QIN 阅读(559) 评论(0) 推荐(0)

2020年4月11日

【Oracle11g】14_视图

摘要： [toc] 1.视图相关的概念视图以经过定制的方式显示来自一个或多个表的数据视图可以视为“虚拟表”或“存储的查询” 创建视图所依据的表称为“基表” 2.视图的优点提供了另外一种级别的表安全性隐藏的数据的复杂性简化的用户的SQL命令隔离基表结构的改变通过重命名列，从另一个角度提供数据 3 阅读全文

posted @ 2020-04-11 15:18 OLIVER_QIN 阅读(365) 评论(0) 推荐(0)

【Python3 爬虫】U38_selenium中的WebElement元素

摘要： [toc] 1.介绍 from selenium.webdriver.remote.webelement import WebElement类是每个获取出来的元素的所属类。有一些常用的属性： get_attribute：这个标签的某个属性的值。 screentshot：获取当前页面的截图。这个方法阅读全文

posted @ 2020-04-11 10:57 OLIVER_QIN 阅读(691) 评论(0) 推荐(0)

【Python3 爬虫】U37_selenium设置代理IP

摘要：有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现方式。这里以Chrome浏览器为例来讲解：阅读全文

posted @ 2020-04-11 10:47 OLIVER_QIN 阅读(1016) 评论(0) 推荐(0)

【Python3 爬虫】U36_selenium打开多窗口和切换窗口

摘要： [toc] 1.示例说明有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。 selenium提供了一个叫做switch_to_window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。示例代码如下： 2.实战演练阅读全文

posted @ 2020-04-11 10:10 OLIVER_QIN 阅读(700) 评论(0) 推荐(0)

2020年4月10日

【Oracle11g】13_序列

摘要： [toc] 1.序列的定义序列是用于生成唯一，连续序号的对象。序列可以是升序的，也可以是降序的 2.创建序列上述参数中，重点解释下CACHE 10，该参数的意思是：例如，现在获取的序列号是6，那么Oracle直接将6 16全部计算出来，存储到内存中，当前先把6返回，当下次再取7或者8等数字的时候阅读全文

posted @ 2020-04-10 23:23 OLIVER_QIN 阅读(492) 评论(0) 推荐(0)

2020年4月9日

【Oracle11g】12_同义词

摘要： [toc] 概念：同义词是现有对象的一个别名。作用：简化SQL语句隐藏对象的名称和所有者提供对对象的公共访问可被所有的数据库用户访问。只能在其模式内访问，且不能与当前模式的对象同名。 1.创建同义词 2.删除同义词 3.授权用户scott创建同义词新建用户是否能访问已经创建好的同义词呢阅读全文

posted @ 2020-04-09 23:39 OLIVER_QIN 阅读(325) 评论(0) 推荐(0)

【Python3 爬虫】U35_selenium隐式等待和显示等待

摘要： [toc] 现在的网页越来越多采用了技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个，那么就会抛出的异常。为了解决这个问题。所以提供了两种等待方式：一种是隐式等待、一种是显式等待。 1.隐式等待调用。那么在阅读全文

posted @ 2020-04-09 18:22 OLIVER_QIN 阅读(714) 评论(0) 推荐(0)

【Python3 爬虫】U34_selenium操作cookie

摘要： [toc] 1.示例代码 2.实战演练验证删除所有cookie这个操作之前，我们先注释语句执行查看效果，运行代码后，打开浏览器，进入【设置】【隐私设置和安全性】【网站设置】【Cookie和网站数据】【查看所有Cookie和网站数据】，如下图：从上图看到此时是有cookie数据的，接着我阅读全文

posted @ 2020-04-09 17:56 OLIVER_QIN 阅读(238) 评论(0) 推荐(0)

公告