随笔分类 - 大数据
摘要：Kafka命令行操作 （如果是服务器单独安装的kafka，就进入到xxx.sh所在的路径下，执行以下命令） 1）查看当前服务器中的所有topic [sea@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper host12:2181 --list 2）创
阅读全文
摘要：转自https://www.cnblogs.com/zlslch/p/6785207.html?utm_source=itdadao&utm_medium=referral Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,
阅读全文
摘要：转自https://www.cnblogs.com/LeeScofiled/p/7390937.html 在zookeeper集群中，会有三种角色，leader、 follower、 observer分别对应着总统、议员、观察者。 半数以上投票通过：可以这样理解。客户端的增删改操作无论访问到了哪台z
阅读全文
摘要：文章原文链接 http://www.bbgo.xyz/accounts/... 1、尽量少使用 invalidate metadata，尽量用REFRESH TABLE_NAME;2、set APPX_COUNT_DISTINCT=true 与 ndv 函数是一样的，都只是估值 3、impala 保
阅读全文
摘要：# 创建用户目录 hadoop fs -ls /user sudo -uhdfs hadoop fs -mkdir /user/hadoop sudo -uhdfs hadoop fs -chown hadoop:hadoop /user/hadoop # 基础目录 hadoop fs -mkdir isas hadoop fs -mkdir isas/epc hadoop fs -mkdir ...
阅读全文
摘要：hdfs文件的存放位置位于节点的datanode下： 格式为：
阅读全文
摘要：(1) 列出HDFS下的文件 (2) 列出HDFS文件下名为in的文档中的文件 (3) 上传文件 将hadoop目录下的test1文件上传到HDFS上并重命名为test： (4) 文件被复制到本地系统中 将HDFS中的in文件复制到本地系统并命名为getin： (5) 删除文档 删除HDFS下名为o
阅读全文
摘要：安装了python3之后，miniconda会在客户端再次访问Linux系统时，自动切换为python3运行环境，此时如果重启CDH中需要用到python的组件(比如impala)，这些组件就会因为找不到默认的python2.7路径而报错，因此需要按照以下方式修改配置信息：
阅读全文
摘要：目前有两个库可以操作HBASE：hbase-thrift 和 happybase happybase使用起来比较简单方便，因此重点学习该库，hbase-thrift只做简要介绍。 （一）hbase-thrift 1、使用前先添加库和依赖库： 2、连接数据库的配置信息： 3、操作数据库 （二）happ
阅读全文
摘要：5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /va
阅读全文
摘要：一、序言： 今天同事部署环境遇到问题， 原因1：修改了主机名，在/etc/hosts文件中加了3台集群的ip和主机名，但是将默认的前两行也改了，没注意看改了哪里， 现象： 1、zookeeper单台可以启动，但是互相无法连通不能注册服务； 2、hadoop单台可以启动，但是使用hdfs dfs -r
阅读全文
