2019年2月22日
maven 修改默认的JDK版本
摘要： maven 默认使用的 jdk 版本 新建一个 maven 项目，如下 ： 项目左下方出现一个感叹号，JRE 显示的是 1.5 版本。解决方式有两种， (1).一种是配置 pom.xml. (2).一种是配置 settings.xml 方式一：settings.xml 配置 打开 %maven%/c 阅读全文
posted @ 2019-02-22 10:59 xiaolaotou 阅读(11359) 评论(0) 推荐(0) 编辑
java操作hive和beeline的使用
摘要： 一、java操作hive 1、启动服务:hiveserver2，让hive开启与外部连接的服务 nohup hiveserver2 1>/dev/null 2>/dev/null &2、加入hive的依赖包 <dependency> <groupId>org.apache.hive</groupId 阅读全文
posted @ 2019-02-22 10:46 xiaolaotou 阅读(3210) 评论(0) 推荐(0) 编辑
Hbase读写流程
摘要： 一、hbase的读操作： ZooKeeper meta--regionserver--region--memstore--storefile 1、首先从zookerper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息 2、根据namesp 阅读全文
posted @ 2019-02-22 10:39 xiaolaotou 阅读(10211) 评论(1) 推荐(2) 编辑
TDH-Search常用命令
摘要： 一、指令部分： 1.search管理界面地址： http://172.20.230.110:9200/_plugin/head/ 2.集群状态查看命令： curl -XGET 'localhost:9200/_cluster/health?pretty' curl -XGET 'localhost: 阅读全文
posted @ 2019-02-22 10:31 xiaolaotou 阅读(508) 评论(0) 推荐(0) 编辑
2019年2月21日
选择分桶字段和计算分桶的正确方法
摘要： 一、 选出合理的分桶字段。 可以拿 (字段中重复值最多的记录数/表的总记录数) 的值作为是否可以作为分桶字段的依据。  查询字段中重复值最多的记录数： COL_COUNT=select column1，count(1) cnt from table_name group by column1 or 阅读全文
posted @ 2019-02-21 18:04 xiaolaotou 阅读(4090) 评论(3) 推荐(0) 编辑
ssh 免密设置
摘要： 在master中生成dsa： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 让matser与slave01做免密： ssh-copy-id -i slave01 测试在master中输入ssh slave01，成功就可以了 让matser与slave02做免密： 阅读全文
posted @ 2019-02-21 17:58 xiaolaotou 阅读(187) 评论(0) 推荐(0) 编辑
hdfs读写删除过程解析
摘要： 一、hdfs文件读取过程 hdfs有一个FileSystem实例，客户端通过调用这个实例的open()方法就可以打开系统中希望读取的文件，hdfs通过rpc协议调用Nadmenode获取block的位置信息，对于文件的每一块，Namenode会返回含有该block副本的Datanode的节点地址；客 阅读全文
posted @ 2019-02-21 17:55 xiaolaotou 阅读(2202) 评论(0) 推荐(0) 编辑
flume集成hdfs(hdfs开启kerberos认证)
摘要： ）当 sink 到 hdfs 时： ) 需修改 flume-env.sh 配置，增添 hdfs 依赖库： FLUME_CLASSPATH="/root/TDH-Client/hadoop/hadoop/*:/root/TDHClient/hadoop/hadoop-hdfs/*:/root/TDH- 阅读全文
posted @ 2019-02-21 17:18 xiaolaotou 阅读(1367) 评论(0) 推荐(0) 编辑
flume集成kafka(kafka开启kerberos)配置
摘要： 根据flume官网：当kafka涉及kerberos认证： 涉及两点配置，如下： 配置一：见下实例中红色部分 配置conf实例： [root@gz237-107 conf]# cat flume_slipstream.conf a1.sources =r1 a1.sinks = k1 a1.chan 阅读全文
posted @ 2019-02-21 14:21 xiaolaotou 阅读(2959) 评论(0) 推荐(0) 编辑
Hbase面试题总结
该文被密码保护。 阅读全文
posted @ 2019-02-21 14:17 xiaolaotou 阅读(19) 评论(0) 推荐(0) 编辑