随笔分类 -  hadoop生态

Hive sort by、cluster by、distribute by、group by区别
该文被密码保护。
posted @ 2021-10-13 20:26 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Hive窗口函数
该文被密码保护。
posted @ 2021-09-09 15:21 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Canal adapter Windows调试Rdb
该文被密码保护。
posted @ 2021-07-12 11:32 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Oozie初探
摘要：参考博客： https://blog.csdn.net/weixin_45793819/article/details/106505430 https://blog.csdn.net/qq_27991405/article/details/89672557 1、本人是CDH版本，安装省略 2、找到e 阅读全文
posted @ 2021-04-23 16:50 小白啊小白，Fighting 阅读(59) 评论(0) 推荐(0) 编辑
Druid安装与实践
摘要：1、下载文件 官方文档: http://www.apache-druid.cn/GettingStarted/chapter-2.html https://druid.apache.org/docs/0.19.0/tutorials/index.html下载地址： apache.org/dyn/cl 阅读全文
posted @ 2021-04-21 14:06 小白啊小白，Fighting 阅读(176) 评论(0) 推荐(0) 编辑
Zeeplin安装与实践
摘要：1、下载并安装 https://zeppelin.apache.org/docs/0.8.0/quickstart/install.html#building-zeppelin-from-source #官网https://mirrors.tuna.tsinghua.edu.cn/apache/ze 阅读全文
posted @ 2021-04-08 14:46 小白啊小白，Fighting 阅读(457) 评论(0) 推荐(0) 编辑
hdfs文件导入hive(ods层)，格式为ORC
摘要：方式一： 1、创建库表 -- 创建库表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; drop table if exists ods_log; CREATE EXTERNA 阅读全文
posted @ 2021-04-06 14:18 小白啊小白，Fighting 阅读(1606) 评论(0) 推荐(0) 编辑
Hbase之Phoenix工具类
摘要：1、工具类 package com.hushuo.cdh.phoenix; import org.springframework.stereotype.Component; import java.sql.*; /** * @program: hushuo-cdh * @description: p 阅读全文
posted @ 2021-01-11 17:34 小白啊小白，Fighting 阅读(453) 评论(0) 推荐(0) 编辑
Canal同步Mysql数据至Hbase
摘要：1、deployer基本不需要改动，只需要修改你需要同步的数据库的库表，例如： canal.instance.filter.regex=test.user 2、adapter中的application.yml配置 server: port: 8083 #可以自己修改监听端口 spring: jack 阅读全文
posted @ 2021-01-06 12:12 小白啊小白，Fighting 阅读(1246) 评论(2) 推荐(0) 编辑
Spark提交任务到Yarn错误
摘要：1、错误描述：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe(资源不足) CDH解决方案：进入Yarn，找到配置，修改这个值 阅读全文
posted @ 2020-11-26 18:07 小白啊小白，Fighting 阅读(380) 评论(0) 推荐(0) 编辑
datax将mysql数据导入hive表
摘要：环境：CDH 5.12.1版本 ，mysql 5.7 1、mysql表结构 2、mysql表数据(user) 3、下载datax wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 4、在datax的job目录 阅读全文
posted @ 2020-10-21 17:06 小白啊小白，Fighting 阅读(8798) 评论(1) 推荐(0) 编辑
Hbase Java Api操作
摘要：注意:pom.xml文件添加（hbase版本和服务器上的版本可以不一致，但尽量保证一致） <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.3</v 阅读全文
posted @ 2020-09-07 16:51 小白啊小白，Fighting 阅读(492) 评论(0) 推荐(0) 编辑
Spark的坑
摘要：1、idea使用sprak的时候，如果是java 工程中用scala写的类无法进行编译。 1、看是否安装了scala 2、看scala的版本和jdk的版本是否兼容(本人就是碰到了不兼容，所以scala进行了降级处理) 阅读全文
posted @ 2020-07-08 22:41 小白啊小白，Fighting 阅读(196) 评论(0) 推荐(0) 编辑
Hive使用
摘要：1、脚本化运行 大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制： 该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句 hive -e "insert into table t_dest select * fr 阅读全文
posted @ 2020-07-04 23:41 小白啊小白，Fighting 阅读(232) 评论(0) 推荐(0) 编辑
Hive的安装与启动
摘要：1、mysql的安装，目的是存放hive的元数据 2、下载hive包，并进行解压 3、配置文件hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql: 阅读全文
posted @ 2020-07-04 23:18 小白啊小白，Fighting 阅读(1340) 评论(0) 推荐(0) 编辑
hadoop格式化
摘要：1、hadoop启动时，namenode没有启动起来 2、hbase连接不上报一下错 a)master.HMaster: hbase:meta,,1.1588230740 is NOT online; b)2019-08-14 17:35:21.221 INFO 12884 [hared--pool 阅读全文
posted @ 2019-08-15 15:19 小白啊小白，Fighting 阅读(1835) 评论(0) 推荐(0) 编辑
springboot和hadoop2.7.7集成开发
摘要：1、本人在腾讯云安装hadoop2.7.7，详细安装请看以前的博客 2、pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="htt 阅读全文
posted @ 2019-08-14 16:33 小白啊小白，Fighting 阅读(5590) 评论(0) 推荐(0) 编辑
Hbase shell操作表
摘要：Java api 操作(增删改查，过滤等):https://www.cnblogs.com/asker009/p/10626508.html 启动hbase shell ./bin/hbase shell 1、创建表，查看表 create 'tableName', 'familykey1','fam 阅读全文
posted @ 2019-08-13 13:12 小白啊小白，Fighting 阅读(3478) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示