随笔分类 -  hadoop

摘要:https://blog.csdn.net/weixin_44036154/article/details/106163553 增量构建应用场景 Kylin在每次Cube的构建都会从Hive中批量读取数据,而对于大多数业务场景来说,Hive中的数据处于不断增长的状态。为了支持Cube中的数据能够不断 阅读全文
posted @ 2020-10-29 10:51 fleam 阅读(647) 评论(0) 推荐(0) 编辑
摘要:常用操作 zkCli.sh -server host:port # 指定连接节点,默认host=localhost,port=2181,如:zkCli.sh -server test2:2181,表示连接test2节点 阅读全文
posted @ 2020-10-28 16:11 fleam 阅读(127) 评论(0) 推荐(0) 编辑
摘要:shell sc.textFile("file:///D:///spring///S-park///log///1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect # 词统计 sc.textFile("file:///D 阅读全文
posted @ 2020-10-28 16:09 fleam 阅读(109) 评论(0) 推荐(0) 编辑
摘要:常用操作 mongo --host 10.211.55.3 --port 27018 # 连接MongoDB 阅读全文
posted @ 2020-10-28 16:07 fleam 阅读(70) 评论(0) 推荐(0) 编辑
摘要:基本操作 # 基本流程 `` project->model->cube cube pending->cube running insight->new query `` 阅读全文
posted @ 2020-10-28 16:03 fleam 阅读(75) 评论(0) 推荐(0) 编辑
摘要:常用操作 kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo # 新建主题 kafka-console-producer.bat --b 阅读全文
posted @ 2020-10-28 16:02 fleam 阅读(77) 评论(0) 推荐(0) 编辑
摘要:hadoop安装 vi /etc/sysconfig/network-scripts/ifcfg-ens33 `` IPADDR=192.168.182.8 `` vi /etc/hosts `` 192.168.182.8 hd1 192.168.182.9 hd2 192.168.182.10 阅读全文
posted @ 2020-10-28 16:00 fleam 阅读(244) 评论(0) 推荐(0) 编辑
摘要:常用操作 http://192.168.182.5:9200/_cat/nodes?v # 查询节点列表 阅读全文
posted @ 2020-10-28 15:58 fleam 阅读(66) 评论(0) 推荐(0) 编辑
摘要:Hadoop是一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。要学习Hadoop从下载安装包开始 打开Hadoop的官方网站,点击Download Hadoop 或点击“Getting Started” 阅读全文
posted @ 2016-12-16 17:17 fleam 阅读(638) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示