2021年3月17日
Flume—(2)实时读取本地文件到HDFS
摘要： 1）案例需求 实时监控Hive日志，并上传到HDFS在。 2）需求分析 3）实现步骤： 1.Flume要想将数据输出到HDFS，必须持有Hadoop相关的jar包 将commons-configuration-1.6、commons-io-2.4、hadoop-auth-2.9.0、hadoop-c 阅读全文
posted @ 2021-03-17 21:03 cqyyck 阅读(306) 评论(0) 推荐(0) 编辑
Hive—开启日志
摘要： 一、配置文件 1、重命名配置文件 把/opt/module/hive-1.2.2/conf/hive-log4j.properties.template重命名为hive-log4j.properties [ck@hadoop102 conf]$ cp hive-log4j.properties.te 阅读全文
posted @ 2021-03-17 13:38 cqyyck 阅读(504) 评论(0) 推荐(0) 编辑
Flume—(1)监控本机端口数据
摘要： 1. 案列需求 首先，Flume监控本机44444端口，然后通过Telnet工具向44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 2. 需求分析 Dflume 动态修改参数。 3.实现步骤： 1）. 安装Telnet工具 a．检测telnet-server的rpm包是否安装 [ 阅读全文
posted @ 2021-03-17 10:11 cqyyck 阅读(438) 评论(0) 推荐(0) 编辑
2021年3月2日
Hive—分桶及抽样查询
摘要： 一、分桶 1.1介绍 分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 2.原理 Hive中：按照分桶字段 阅读全文
posted @ 2021-03-02 08:33 cqyyck 阅读(621) 评论(0) 推荐(0) 编辑
2021年2月25日
Hive—UDF函数编写
摘要： 一、UDF函数 UDF（User-Defined Functions）即用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数。 二、分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数 阅读全文
posted @ 2021-02-25 14:24 cqyyck 阅读(1377) 评论(0) 推荐(0) 编辑
2021年2月24日
Hive—DML数据（导入、导出、清除）
摘要： 一、数据导入 1.向表中装载数据（Load） 1.1.语法 hive> load data [local] inpath ‘/opt/module/datas/student.txt’ overwrite | into table student [partition (partcol1=val1, 阅读全文
posted @ 2021-02-24 11:15 cqyyck 阅读(181) 评论(0) 推荐(0) 编辑
Hive—内部表与外部表
摘要： 一、区别 1.建表语句不同。外部表建表被external修饰；内部表没有，默认为内部表。2.存储位置不同。内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；3.管理方式不同。内部表数据由h 阅读全文
posted @ 2021-02-24 11:06 cqyyck 阅读(793) 评论(0) 推荐(0) 编辑
Hive—数据表（增、删、改）
摘要： 一、创建表 1.语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY 阅读全文
posted @ 2021-02-24 10:22 cqyyck 阅读(1038) 评论(0) 推荐(0) 编辑
Hive—分区表
摘要： 一、什么是分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 二、分区表的操作 2.1 阅读全文
posted @ 2021-02-24 09:03 cqyyck 阅读(556) 评论(0) 推荐(0) 编辑
2021年2月23日
Hive—数据库级增、删、改、查
摘要： 一、创建数据库 1）创建数据库 hive (default)> create database if not exists db_hive; 2）创建一个数据库，指定数据库在HDFS上存放的位置 hive (default)> create database db_hive2 location '/ 阅读全文
posted @ 2021-02-23 09:24 cqyyck 阅读(304) 评论(0) 推荐(0) 编辑
2021年2月22日
Kafka—Bootstrap broker hadoop102:2181 (id: -1 rack: null) disconnected
摘要： 一、问题 在Kafka中，消费端查看消息时，提示如下错误 [ck@hadoop103 kafka_2.12-2.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:2181 --topic first [2021-02-2 阅读全文
posted @ 2021-02-22 17:26 cqyyck 阅读(5121) 评论(0) 推荐(0) 编辑
Kafka—命令行操作
摘要： 1.查看当前服务器中的所有topic [ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-topics.sh -- zookeeper hadoop102:2181 -- list 2.创建topic [ck@hadoop102 kafka_2.12-2.6.1]$ 阅读全文
posted @ 2021-02-22 17:15 cqyyck 阅读(88) 评论(0) 推荐(0) 编辑
Kafka—Kafka安装部署
摘要： 一、集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 二、安装部署 1）解压安装包 [ck@hadoop102 software]$ tar -zxvf kafka_2.12-2.6.1.tgz -C /opt/module/ 阅读全文
posted @ 2021-02-22 17:04 cqyyck 阅读(125) 评论(0) 推荐(0) 编辑
Kafka—Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
摘要： 一、问题 配置完Kafka后，启动Kafka时提示如下问题： [ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-server-start.sh config/server.properties & [1] 25679 [ck@hadoop102 kafka_2.1 阅读全文
posted @ 2021-02-22 15:39 cqyyck 阅读(416) 评论(0) 推荐(0) 编辑
2021年2月8日
mysql—Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe" for details.
摘要： 一、问题 MySQL启动时提示如下错误： [ck@hadoop102 conf]$ sudo systemctl start mysqld.service [sudo] atguigu 的密码： Job for mysqld.service failed because the control pr 阅读全文
posted @ 2021-02-08 10:06 cqyyck 阅读(4377) 评论(0) 推荐(0) 编辑
2021年2月7日
Linux—安装MySQL数据库
摘要： 一、yum源安装 1、建立yum源 参照地址：https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/ [root@hadoop102 ~]#vi /etc/yum.repo.d/mysql.repo #添加以下内容： # Enable to 阅读全文
posted @ 2021-02-07 23:46 cqyyck 阅读(88) 评论(0) 推荐(0) 编辑
Linux—Yum源配置
摘要： 1、yum命令 -repolist -info 类似rpm -qai -list yum管理的软件及版本，类似于rpm -qa；@开头表示已经安装 -y 当yum交互时，自动提供yes响应 --installroot=/some/path ,将软件安装到/some/path 而不是默认路径 -sea 阅读全文
posted @ 2021-02-07 23:06 cqyyck 阅读(87) 评论(0) 推荐(0) 编辑
2021年2月6日
Hive-FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要： 一、问题 Hive安装好以后，查看数据库时提示“FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate 阅读全文
posted @ 2021-02-06 08:37 cqyyck 阅读(263) 评论(0) 推荐(0) 编辑
2021年2月2日
Linux—Crontab定时任务
摘要： 一、语法 crontab [选项] 二、选项说明 -e：编辑crontab定时任务 -l：查询crontab任务 -r：删除当前用户所有的crontab任务 三、参数说明 运行 [root@hadoop101 ~] crontab -e * * * * * 任务 项目 含义 范围 第一个“*” 一小 阅读全文
posted @ 2021-02-02 09:17 cqyyck 阅读(64) 评论(0) 推荐(0) 编辑
2021年2月1日
PB—读取/写入本地ini文件
摘要： 一、读取本地my.ini文件 二、读取 ProfileString(FileName,Part,Properties,Defaultvalue) ProfileInt(FileName,Part,Properties,Defaultvalue) ServerName=ProfileString("d 阅读全文
posted @ 2021-02-01 15:22 cqyyck 阅读(873) 评论(0) 推荐(0) 编辑