02 2017 档案
摘要：为什么es需要优化？ 答： es集群的3节点，每个机器都要去设置。master、slave1和slave2都要去操作。 怎么来做好es的优化工作？ 途径1、解决es启动的警告信息【或者es中Too many open files的问题】 max file descriptors [4096] for
阅读全文
摘要：分为两种情况，取决于是否安装了tomat。 一、若安装了tomcat 1、es的前台启动 需要先启动tomcat，再启动es，否则会报错！ 所以，得 2、es的后台启动 [hadoop@HadoopMaster elasticsearch-2.4.3]$ bin/elasticsearch -d[h
阅读全文
摘要：为什么需要索引模板？ 在实际工作中针对一批大量数据存储的时候需要使用多个索引库，如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了。 所以，这个时候，就存在创建索引模板的必要了！！1 索引可使用预定义的模板进行创建,这个模板称作Index templates。模板设
阅读全文
摘要：集群脑裂是什么？ 所谓脑裂问题（类似于精神分裂），就是同一个集群中的不同节点，对于集群的状态有了不一样的理解。 由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况成为集群脑裂（split-brain）现象。这个问题非常危险，因为两个新形成的集群会同时索引和修改集
阅读全文
摘要：第一步：进入github.com 第二步： 第三步： 第四步： 第五步： 第六步： 第七步：认识下es的源码目录结构
阅读全文
摘要：Elasticsearch之settings和mappings的意义 简单的说，就是 settings是修改分片和副本数的。 mappings是修改字段和类型的。 记住，可以用url方式来操作它们，也可以用java方式来操作它们。建议用url方式，因为简单很多。 1、ES中的settings 查询索
阅读全文
摘要：不多说，直接上干货！ Editplus下载 第一步：进入官网 https://www.editplus.com/ 第二步：下载 https://www.editplus.com/download.html Editplus安装 我这里，直接以一个压缩包来安装，需要的，请在博客下方评论留言。直接解压缩
阅读全文
摘要：不多说，直接上干货！ 第一步：下载tomcat压缩包 http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.73/bin/ 第二步：上传tomcat压缩包 [hadoop@HadoopMaster app]$ lltotal 3092drwxrwxr
阅读全文
摘要：不多说，直接上干货！ 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 前提 Elasticsea
阅读全文
摘要：前提， Elasticsearch之中文分词器插件es-ik 针对一些特殊的词语在分词的时候也需要能够识别 有人会问，那么，例如： 如果我想根据自己的本家姓氏来查询，如zhouls，姓氏“周”。 如果我想根据自己的公司名称来查询，如“好记性不如烂笔头感叹号博客园” 如果我想根据自己公司里的产品名称来
阅读全文
摘要：它在哪里呢？ 非常重要！ [hadoop@HadoopMaster custom]$ pwd/home/hadoop/app/elasticsearch-2.4.3/plugins/ik/config/custom[hadoop@HadoopMaster custom]$ lltotal 5252-
阅读全文
摘要：前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch之几个重要的分词器 elasticsearch官方默认的分词插件 1、elastics
阅读全文
摘要：前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch的几个重要的分词器： 前提 什么是倒排索引？ Elasticsearch之分词器的作用
阅读全文
摘要：前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch的中文分词器 1、单字分词： 如：“我们是中国人” 效果：“我”“们”“是”“中”“国”“人” 2、二分法分词：按两个字进行切
阅读全文
摘要：前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch的停用词 1、有些词在文本中出现的频率非常高，但是对文本所携带的信息基本不产生影响。 2、英文 a、an、the、of 3、中文 的、了、着、是 、标点符号等 4
阅读全文
摘要：前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch的分词器的一般工作流程： 1、切分关键词 2、去除停用词 3、对于英文单词，把所有字母转为小写（搜索时不区分大小写） 后续博客 Elasticsearch之停用词
阅读全文
摘要：前提 什么是倒排索引？ Analyzer（分词器）的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所以对于不同的语言，要用不同的分词器。(也就是说不同的分词器分词的规则是不同的！) 在创建索引时会用到分词器，在搜索时也会用到分词
阅读全文
摘要：不多说，直接上干货！ 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 见其名知其意，有倒排索引，
阅读全文
摘要：java基本类型与Hadoop常见基本类型的对照Long LongWritableInteger IntWritableBoolean BooleanWritable String Text Java类型如何转化为Hadoop基本类型？ 调用hadoop类型的构造方法，或者调用set()方法。 ne
阅读全文
摘要：Elasticsearch Client发送搜索请求，某个索引库，一般默认是5个分片（shard）。 它返回的时候，由各个分片汇总结果回来。 官网API es 在查询时， 可以指定搜索类型为下面四种： QUERY_THEN_FETCH QUERY_AND_FEATCH DFS_QUERY_THEN_
阅读全文
摘要：前提 Elasticsearch 编程API入门系列 入门1（Java Client类型、连接es集群、添加json格式的数据、添加map格式的数据、添加bean格式的数据、添加helper格式的数据、通过id get查询数据、局部更新数据、通过id来删除数据、求数据行总数和批量 bulk 操作数据
阅读全文
摘要：不多说，直接上干货！ Eclipse里如何快速提取变量？ 按alt+shift+l MyEclipse里如何快速提取变量？ 按alt+shift+l 成功！快速提取变量 扩展学习 Eclipse/MyEclipse按任何键，都可以提示?（最强帮手） 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工
阅读全文
摘要：说明： 一般在Eclipse ，MyEclipse代码里面，打个foreach，switch等这些，是无法得到代码提示的（不信自己试试），其他的就更不用说了，而在Microsoft Visual Studio 里面是得到非常友好的代码提示的。 实际上，Eclipse ，MyEclipse代码里面的代
阅读全文
摘要：前提是， Elasticsearch 编程API入门系列 说在前面的话 Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） setting.xml配置文件 如何在Maven官网下载历史版本 HBase 开发环境搭建（Eclipse\MyEclipse + Maven）
阅读全文
摘要：前提，是 Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） setting.xml配置文件 如何在Maven官网下载历史版本 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） MapReduce 开发环境搭建（Eclipse\MyEcl
阅读全文
摘要：前提， Elasticsearch-2.4.3的3节点安装（多种方式图文详解） Elasticsearch-2.4.3的3节点安装（多种方式图文详解） 比如，你已经成功搭建了3台机器的es集群，如我这里分别是192.168.80.10、192.168.80.11、192.168.80.12。 那么，
阅读全文
摘要：我们在写Hadoop--map/reduce程序时，遇到使用按文件url来分析文件 多表连接的DistributedCache方式，看不懂使用extends Configured implements Tool的方式，就查了一下http://hadoop.apache.org 上面对该Tool接口及
阅读全文
摘要：Eclipse下Maven新建Web项目步骤 1、 2、 3、 4、 5、 问题描述 最近用eclipse新建了一个maven项目，结果刚新建完成index.jsp页面就报错了，先把错误信息贴出来看看! 解决方法 第一种：直接在pom.xml文件中添加jar包支持 添加完成之后ctrl+s保存一下，
阅读全文
摘要：问题描述 Server Tomcat v7.0 Server at localhost failed to start. 解决办法 把你工作空间文件夹下的如下路径打开： <workspace-directory>\.metadata\.plugins\org.eclipse.wst.server.c
阅读全文
摘要：前提， Tomcat *的下载（绿色版和安装版都适用） Tomcat *的安装和运行（绿色版和安装版都适用） Tomcat的配置文件详解 在Eclipse里连接Tomcat部署到项目（maven项目和web项目都适用） 运行MyEclipse程序文件，打开工作界面。 选择菜单栏中的window——p
阅读全文
摘要：不多说，直接上干货！ 前提， Tomcat *的下载（绿色版和安装版都适用） Tomcat *的安装和运行（绿色版和安装版都适用） Tomcat的配置文件详解 我这里以，manven项目为例，当然，web项目一样做法，只要是在Eclipse即可。 点击，项目，右击，属性 修改为1.7或1.8 在以后
阅读全文
摘要：问题描述： 严重: Error starting static Resourcesjava.lang.IllegalArgumentException: Document base D:\Code\MyJavaCode\.metadata\.plugins\org.eclipse.wst.serve
阅读全文
摘要：前提， Tomcat *的下载（绿色版和安装版都适用） Tomcat *的安装和运行（绿色版和安装版都适用） Tomcat的配置文件，在$TOMCAT_HOME下的conf，我这里是， 1、打开server.xml 我们可以在server.xml文件中修改端口号，找到conf文件夹，打开其中的ser
阅读全文
摘要：不多说，直接上干货！ 前提， Tomcat *的下载（绿色版和安装版都适用） 一、Tomcat的安装版 1、新建安装目录 2、放置安装版的tomcat 3、双击 4、点击 I agree 5、选择“Full”，然后点击“Next” 6、如果你没有安装其他的服务器，端口就保持默认，至于Password
阅读全文
摘要：不多说，直接干货！ 1、先下载tomcat，到http://tomcat.apache.org/ 2、注意：下载可以下载zip格式或exe格式的，其中zip格式的只要解压缩再配置下环境变量就可以使用了，就像绿色版的。我这里使用的是后者exe格式的，这个对于新手比较方便。 http://tomcat.
阅读全文
摘要：前提： Elasticsearch-2.4.3的下载（图文详解） Elasticsearch-2.4.3的单节点安装（多种方式图文详解） 我这里，以192.168.80.10（HadoopMaster）、192.168.80.11(HadoopSlave1)、192.168.80.12(Hadoop
阅读全文
摘要：Elasticsearch之重要核心概念如下: 1、cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体
阅读全文
摘要：前提， Elasticsearch之插件介绍及安装 https://i.cnblogs.com/posts?categoryid=950999&page=2 （强烈建议，从头开始看） 比如，我的这里是http://192.168.80.200:9200/_plugin/kopf/ 1、cluster
阅读全文
摘要：前提， Elasticsearch之插件介绍及安装 https://i.cnblogs.com/posts?categoryid=950999&page=2 （强烈建议，从头开始看） 比如，我的这里是http://192.168.80.200:9200/_plugin/head/ 1、概览 2、索引
阅读全文
摘要：ES站点插件（以网页形式展现） 1、BigDesk Plugin (作者 Lukáš Vlček) 简介：监控es状态的插件，推荐！【目前不支持2.x】 2、Elasticsearch Head Plugin (作者 Ben Birch) （主要） 简介：很方便对es进行各种操作的客户端。 3、ko
阅读全文
摘要：1、bulk相当于数据库里的bash操作。 2、引入批量操作bulk，提高工作效率，你想啊，一批一批添加与一条一条添加，谁快? 3、bulk API可以帮助我们同时执行多个请求 4、bulk的格式： action：index/create/update/delete metadata：_index,
阅读全文
摘要：扩展下， Elasticsearch之curl删除索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XDELETE 'http://192.168.80.200:9200/zhouls/emp/1'{"found":true,"_index":"zhoul
阅读全文
摘要：前面的基础， Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 Elasticsearch之curl创建索引库和索引时注意事项 Elasticsearch之cur查询索引 首先，明确一个概念，es包括全部更新和局部更新！ ES全部更新 ES可以使用PUT或
阅读全文
摘要：前提， Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 Elasticsearch之curl创建索引库和索引时注意事项 Elasticsearch之cur查询索引 1、根据员工id查询 [hadoop@djt002 elasticsearch-2.4.3
阅读全文
摘要：前提， Elasticsearch之curl创建索引库 Elasticsearch之curl创建索引 注意事项 1、索引库名称必须要全部小写，不能以下划线开头，也不能包含逗号 2、如果没有明确指定索引数据的ID，那么es会自动生成一个随机的ID,需要使用POST参数 curl -XPOST http
阅读全文
摘要：前提，是 Elasticsearch之curl创建索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XPUT 'http://192.168.80.200:9200/zhouls/emp/1' -d'{"name":"tom","age":25}'{"_i
阅读全文
摘要：关于curl创建索引库的介绍，请移步 Elasticsearch之curl创建索引库 [hadoop@djt002 elasticsearch-2.4.3]$ curl -XPUT 'http://192.168.80.200:9200/zhouls'{"error":{"root_cause":[
阅读全文
摘要：关于curl的介绍，请移步 Elasticsearch学习概念之curl 启动es，请移步 Elasticsearch的前后台运行与停止(tar包方式） Elasticsearch的前后台运行与停止(rpm包方式） 创建索引库，我这里命名为zhouls [hadoop@djt002 elastics
阅读全文
摘要：curl，简单认为是可以在命令行下访问url的一个工具。即增删改查。 curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。 查看curl的help文档 [hadoop@djt002 elasticsearch-2.4.3]$ curl -
阅读全文
摘要：对应，这es的下载，需要rpm包。 Elasticsearch-2.4.3的下载（图文详解） 建议用root用户 [root@djt002 elasticsearch-2.4.3]$ pwd/usr/local/elasticsearch/elasticsearch-2.4.3 [root@djt0
阅读全文
摘要：此elasticsearch-.yml配置文件，是在$ES_HOME/config/下 elasticsearch-.yml（中文配置详解） # Elasticsearch Configuration ## NOTE: Elasticsearch comes with reasonable defa
阅读全文
摘要：备注：在生产环境中，往往一般用后台来运行。jps查看。 1、ES的前台运行 [hadoop@djt002 elasticsearch-2.4.3]$ pwd/usr/local/elasticsearch/elasticsearch-2.4.3[hadoop@djt002 elasticsearch
阅读全文
摘要：前提： Elasticsearch-2.4.3的下载（图文详解） 1、新建es安装目录 2、上传elasticsearch-2.4.3.tar.gz 3、解压 4、删除压缩包 5、熟悉下es目录结构 6、启动es 方式一（不建议，只能在本机访问） 注意：es启动之后啊，会绑定两个端口，9200和93
阅读全文
摘要：第一步:进入Elasticsearch的官网 https://www.elastic.co/ 第二步：点击downloads https://www.elastic.co/downloads 第三步：选择Elasticsearch 第四步： 选择past releases https://www.e
阅读全文
摘要：问题描述： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [hadoop@djt002 native]$ pwd/usr/local/hado
阅读全文
