风水涣

2017年11月29日

摘要：映射（mapping）映射是创建索引的时候，可以预先定义字段的类型以及相关属性 Elasticsearch会根据JSON源数据的基础类型去猜测你想要的字段映射。将输入的数据变成可搜索的索引项。Mapping就是我们自己定义字段的数据类型，同时告诉Elasticsearch如何索引数据以及是否可以被阅读全文

posted @ 2017-11-29 20:12 风水涣阅读(2459) 评论(0) 推荐(0) 编辑

利用kibana插件对Elasticsearch进行批量操作

摘要： #############批量获取################# ############bulk批量操作###########批量导入可以合并多个操作，比如index,delete,update,create等等.也可以从一个索引导入到另外一个索引 #需要注意的是，每一条数据都由两行构成（de 阅读全文

posted @ 2017-11-29 19:45 风水涣阅读(1031) 评论(0) 推荐(0) 编辑

利用kibana插件对Elasticsearch进行文档和索引的CRUD操作

摘要： #添加索引PUT lagou { "settings": { "index": { "number_of_shards":5, "number_of_replicas":1 } } }#查看索引设置 GET lagou/_settings GET _all/_settings GET .kibana,lagou/_settings GET _se... 阅读全文

posted @ 2017-11-29 19:09 风水涣阅读(771) 评论(0) 推荐(0) 编辑

elasticsearch搜索框架的安装相关

摘要：安装JAVA SE 百度一下JAVA SE，按照自己的平台，位数选择就是了，这里遇到过一个坑，双击exe安装包一直无法打开jdk的安装，在任务管理器里面就一闪而过，后来我卸载了所有JAVA的相关安装，然后重新下载了9.0 在C:\Program Files 删除了AppData关于JAVA的相关阅读全文

posted @ 2017-11-29 16:59 风水涣阅读(167) 评论(0) 推荐(0) 编辑

2017年11月17日

python面试必问知识整理

摘要：一数据类型 1 数字整型与浮点型其他数字类型（了解） 2 字符串 3 列表 4 元组 5 字典 #利用setdefault解决重复赋值 ''' setdefault的功能 1：key存在，则不赋值，key不存在则设置默认值 2：key存在，返回的是key对应的已有的值，key不存在，返回的则是阅读全文

posted @ 2017-11-17 19:53 风水涣阅读(530) 评论(0) 推荐(0) 编辑

2017年11月8日

Selenium定位不到元素的解决方法—iframe挡住了去路

摘要：刚接触Selenium，在调试过程中发现有些元素定位不到，于是求助了百度，查找到的资料是这么说的：如果需要定位的元素在某个frame里，则单独通过id/name/xpath是定位不到此元素的。比如，原本想通过WebElement element=driver.FindElement(By.LinkT 阅读全文

posted @ 2017-11-08 17:04 风水涣阅读(700) 评论(0) 推荐(0) 编辑

2017年11月5日

python 几个简单算法详解

摘要：一、冒泡排序基本思想：它的思路很有特点循环，两两向后比较。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。二、选择排序基本思想：从所有序列中先找到最小的，然后放到第一个位置。之后再看剩余阅读全文

posted @ 2017-11-05 09:57 风水涣阅读(1660) 评论(0) 推荐(0) 编辑

2017年10月20日

爬虫突破封禁常用方法

摘要：在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。本文阅读全文

posted @ 2017-10-20 16:23 风水涣阅读(560) 评论(0) 推荐(0) 编辑

转载:使用Tornado+Redis维护ADSL拨号服务器代理池

摘要：我们尝试维护过一个免费的代理池，但是代理池效果用过就知道了，毕竟里面有大量免费代理，虽然这些代理是可用的，但是既然我们能刷到这个免费代理，别人也能呀，所以就导致这个代理同时被很多人使用来抓取网站，所以当我们兴致勃勃地拿他来抓取某个网站的时候，会发现它还是被网站封禁的状态，所以在某些情况下免费代理池的阅读全文

posted @ 2017-10-20 15:25 风水涣阅读(438) 评论(0) 推荐(0) 编辑

2017年10月18日

python 试题

摘要：其一, 在不加括号时候, and优先级大于其二, x or y 的值只可能是x或y. x为真就是x, x为假就是y 第三, x and y 的值只可能是x或y. x为真就是y, x为假就是x 用的是django的信号量, list(set(a+b)) >>这个挺好,更多自己查,还有set | .u 阅读全文

posted @ 2017-10-18 17:44 风水涣阅读(1702) 评论(0) 推荐(1) 编辑

公告