2019年3月5日
Elasticsearch节点下线（退役）and unassigned shards
摘要： 一、节点退役当集群中个别节点出现故障预警等情况，需要进行退役工作，即让所有位于该退役节点上的分片的数据分配到其他节点上后，再将此节点关闭并从集群中移除。 1、ES提供了让某个节点上所有数据都移走的功能如下： ElasticSearch集群就会自动把这个节点上的所有分片，都自动转移到其他节点上，等到转 阅读全文
posted @ 2019-03-05 15:38 xiaolaotou 阅读(5042) 评论(0) 推荐(0) 编辑
详解Hbase架构原理
摘要： 一、Hbase概念 Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的PC Server上搭建大规模结构化存储集群。 Hbase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，Hbase利用Ha 阅读全文
posted @ 2019-03-05 14:56 xiaolaotou 阅读(565) 评论(0) 推荐(0) 编辑
docker安装（yum方式）
摘要： 1、 更新现有的yum 包：sudo yum update 2、添加Docker源： 2.1首先创建docker.repo: 3、使用yum命令安装docker 4、 启动docker服务 5、 确认docker是否安装成功 阅读全文
posted @ 2019-03-05 11:53 xiaolaotou 阅读(470) 评论(0) 推荐(0) 编辑
spark相关面试题
该文被密码保护。 阅读全文
posted @ 2019-03-05 11:47 xiaolaotou 阅读(2) 评论(0) 推荐(0) 编辑
hive相关面试题
该文被密码保护。 阅读全文
posted @ 2019-03-05 11:41 xiaolaotou 阅读(4) 评论(0) 推荐(0) 编辑
hive UDF函数
摘要： 一、UDF相关概念 UDF，用户自定义函数，可以直接在SQL语句中计算的函数：三个优点： UDF 存放在内存中， 设计不当将导致系统的崩溃， 所以必须在必要的时候实施优化。 对 UDF 的优化是通过手动改写原来的 UDF 代码实现的， 主要有以下两种场景： 1) 如果 UDF 嵌套过于复杂， 可以重 阅读全文
posted @ 2019-03-05 11:34 xiaolaotou 阅读(4190) 评论(0) 推荐(0) 编辑
MapReduce详解
摘要： 一、MapReduce概念 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是可靠且 阅读全文
posted @ 2019-03-05 11:24 xiaolaotou 阅读(1173) 评论(0) 推荐(0) 编辑
如何在Elasticsearch中解析未分配的分片（unassigned shards）
摘要： 一、精确定位到有问题的shards 1、查看哪些分片未被分配 2、如果您运行的是Elasticsearch的5+版本，您还可以使用群集分配说明API来尝试获取有关分片分配问题的更多信息： 生成的输出将提供有关群集中某些分片未分配的原因的有用详细信息： 二、Elasticsearch中解析未分配的各个 阅读全文
posted @ 2019-03-05 10:24 xiaolaotou 阅读(3933) 评论(0) 推荐(0) 编辑
spark-streaming获取kafka数据的两种方式
摘要： 简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 一、Receiver方式： 使用kafka的高层次Consumer api来实现的，Receiver从kafka中获取的数据都是存储在spark executor的内 阅读全文
posted @ 2019-03-05 09:53 xiaolaotou 阅读(1547) 评论(0) 推荐(0) 编辑