摘要：
1. 上传并解压 Sqoop 安装文件 将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装包上传到 node-01 的 /root/ 目录下并将其解压 [root@node-01 ~]# tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.t 阅读全文
摘要：
注：以下配置项均为常见配置项，查询详细配置项可以访问 flume 官网 Source 常见配置项 Avro Source 配置项名称 默认值 描述 Channel – type – 组件类型名称，必须为avro bind – 要监听的主机名或IP地址 port – 要绑定的端口号 threads – 阅读全文
摘要：
引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n 阅读全文
摘要：
hive.ddl.output.format： hive的ddl语句的输出格式， 默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper： hive调用脚本时的包装器，默认是null， 如果设置为python的话，那么在做脚本调用 阅读全文
摘要：
引言 以下是 MySQL 8 导出数据的窗口，导出数据时需要选择记录分隔符，这就需要你明白 CRLF、CR 和 LF 分别代表什么，有何区别，否则可能导出数据会出现莫名其米的问题。 名词解释 CR：Carriage Return，对应 ASCII 中转义字符 \r，表示回车 LF：Linefeed， 阅读全文
摘要：
引言 hbase 提供很方便的 shell 脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？ 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理 阅读全文
摘要：
环境准备 已安装 HDFS 和 Yarn 集群环境 Linux 已安装 MySQL5 安装步骤 1. 上传并解压 Hive 安装文件 将 apache-hive-3.1.2-bin.tar.gz 安装包上传到 node-01 的 /root 目录下并将其解压 [root@node-01 ~]# ta 阅读全文
摘要：
安装准备 已安装并启动 HDFS 集群、Zookeeper 集群 角色分配如下： node-01: namenode datanode regionserver hmaster zookeeper node-02: datanode regionserver zookeeper node-03: d 阅读全文
摘要：
引言 设计模式对于 Java 初学者来说，理解起来难度比较大，很多 Java 初学者连最简单的单例模式恐怕都搞不太明白，但是设计模式却是面试官必问的问题，因为在实际项目开发过程中，经常会使用设计模式来提升代码的质量。 以下是 23 种设计模式的通俗解释，可以让 Java 初学者对每个设计模式有一个初 阅读全文
摘要：
环境准备 确保主机搭建 HDFS HA 运行环境 步骤一：修改 mapred-site.xml 配置文件 [root@node-01 ~]# cd /root/apps/hadoop-3.2.1/etc/hadoop/ [root@node-01 hadoop]# vim mapred-site.x 阅读全文