摘要: php没有官方的kafka扩展,所以我们需要找到社区版的插件用。 目前有一个比较火的kafka扩展,这个扩展是用C写的,直接通过pecl安装。地址:https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html 安装这个插件有 阅读全文
posted @ 2020-01-17 15:52 梁天 阅读(4189) 评论(2) 推荐(2) 编辑
摘要: Hello! 我是梁天,网名(gwyy,过往云烟,Myron),目前就职于虎扑,坐标上海,主要做go/java/php等一些有趣的东西 本站主要记录了我的的开发、生活的记录。 我的微博:https://www.weibo.com/wbzmz 欢迎关注我的微信公众号:胡说代码 阅读全文
posted @ 2020-01-17 13:38 梁天 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 小康的博客 http://kangsgo.cn/ 小康是我认识多年的一个做生物,编程的朋友,生物学很厉害 Linux运维笔记 https://linuxeye.com/ 不错的网站,很多运维方面的东西 凡凡的博客 https://marlon.life/ 认识很久啦,好兄弟,好基友,go架构师 千哥 阅读全文
posted @ 2020-01-17 13:37 梁天 阅读(529) 评论(0) 推荐(0) 编辑
摘要: 发车 为什么要在elasticsearch中要使用ik这样的中文分词呢,那是因为es提供的分词是英文分词,对于中文的分词就做的非常不好了,因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。 上车 1、去github 下载对应的分词插件https://github.com/me 阅读全文
posted @ 2020-01-17 12:51 梁天 阅读(10401) 评论(0) 推荐(0) 编辑
摘要: 上车 Head是elasticsearch的集群管理工具,可以用于数据的浏览和查询。elasticsearch-head是一款开源软件,被托管在github上面,所以如果我们要使用它,必须先安装git,通过git获取elasticsearch-head运行elasticsearch-head会用到g 阅读全文
posted @ 2020-01-17 12:49 梁天 阅读(3225) 评论(0) 推荐(0) 编辑
摘要: 上车 Kibana是一个针对Elasticsearch的开源分析可视化平台,使用Kibana可以查询,查看并存储在ES索引的数据进行交互操作,使用Kibana能执行高级的数据分析,并且以图表,表格和地图的形式查看数据。 注意:你的es版本是多少 就下载对应版本的kibana 发车 下载Kibana  阅读全文
posted @ 2020-01-17 12:47 梁天 阅读(2319) 评论(0) 推荐(0) 编辑
摘要: 上车 最近在接手项目里面的es相关的业务,预计最近一段会更新一个es系列文章。大家可以收藏下我的博客,写的不管好不好欢迎大家给我留言。感谢大家! 今天我们讲下怎么安装es, 为什么不讲7.0呢,因为目前业务用的就是6版本,所以这里只记录6版本安装了,其实差不多的,就是7.0 需要用到java 11了 阅读全文
posted @ 2020-01-17 12:46 梁天 阅读(1171) 评论(0) 推荐(0) 编辑
摘要: 太长不想看的话,可以直接简单快速安装redis docker search redis 搜索redis的镜像 docker pull redis:latest 下载最新版 docker run -itd --name redis-test -p 6379:6379 redis 直接启动 搞定 上车 阅读全文
posted @ 2020-01-17 12:44 梁天 阅读(2544) 评论(0) 推荐(0) 编辑
摘要: 简介 Yet Another Resource Negotiator ,负责整个集群资源的调度,和管理,支持多框架资源统一调度(HIVE spark flink) 开启yarn 安装hadoop,可以看我之前的博文 这边就不讲了 编辑 etc/hadoop/mapred-site.xml: 添加如下 阅读全文
posted @ 2020-01-17 12:42 梁天 阅读(3312) 评论(0) 推荐(0) 编辑
摘要: 1.MapReduce是什么 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词, 一是软件框架,二是并行处理,三是可靠 阅读全文
posted @ 2020-01-17 12:34 梁天 阅读(836) 评论(0) 推荐(0) 编辑
摘要: HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例 阅读全文
posted @ 2020-01-17 12:29 梁天 阅读(1015) 评论(0) 推荐(0) 编辑
摘要: 本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz hi 阅读全文
posted @ 2020-01-17 10:15 梁天 阅读(1235) 评论(0) 推荐(0) 编辑