02 2021 档案

Hive—UDF函数编写
摘要：一、UDF函数 UDF（User-Defined Functions）即用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数。 二、分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数 阅读全文
posted @ 2021-02-25 14:24 cqyyck 阅读(1635) 评论(0) 推荐(0)
Hive—DML数据（导入、导出、清除）
摘要：一、数据导入 1.向表中装载数据（Load） 1.1.语法 hive> load data [local] inpath ‘/opt/module/datas/student.txt’ overwrite | into table student [partition (partcol1=val1, 阅读全文
posted @ 2021-02-24 11:15 cqyyck 阅读(208) 评论(0) 推荐(0)
Hive—内部表与外部表
摘要：一、区别 1.建表语句不同。外部表建表被external修饰；内部表没有，默认为内部表。2.存储位置不同。内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；3.管理方式不同。内部表数据由h 阅读全文
posted @ 2021-02-24 11:06 cqyyck 阅读(926) 评论(0) 推荐(0)
Hive—数据表（增、删、改）
摘要：一、创建表 1.语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY 阅读全文
posted @ 2021-02-24 10:22 cqyyck 阅读(1107) 评论(0) 推荐(0)
Hive—分区表
摘要：一、什么是分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 二、分区表的操作 2.1 阅读全文
posted @ 2021-02-24 09:03 cqyyck 阅读(663) 评论(0) 推荐(0)
Hive—数据库级增、删、改、查
摘要：一、创建数据库 1）创建数据库 hive (default)> create database if not exists db_hive; 2）创建一个数据库，指定数据库在HDFS上存放的位置 hive (default)> create database db_hive2 location '/ 阅读全文
posted @ 2021-02-23 09:24 cqyyck 阅读(346) 评论(0) 推荐(0)
Kafka—Bootstrap broker hadoop102:2181 (id: -1 rack: null) disconnected
摘要：一、问题 在Kafka中，消费端查看消息时，提示如下错误 [ck@hadoop103 kafka_2.12-2.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:2181 --topic first [2021-02-2 阅读全文
posted @ 2021-02-22 17:26 cqyyck 阅读(5337) 评论(0) 推荐(0)
Kafka—命令行操作
摘要：1.查看当前服务器中的所有topic [ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-topics.sh -- zookeeper hadoop102:2181 -- list 2.创建topic [ck@hadoop102 kafka_2.12-2.6.1]$ 阅读全文
posted @ 2021-02-22 17:15 cqyyck 阅读(91) 评论(0) 推荐(0)
Kafka—Kafka安装部署
摘要：一、集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 二、安装部署 1）解压安装包 [ck@hadoop102 software]$ tar -zxvf kafka_2.12-2.6.1.tgz -C /opt/module/ 阅读全文
posted @ 2021-02-22 17:04 cqyyck 阅读(129) 评论(0) 推荐(0)
Kafka—Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
摘要：一、问题 配置完Kafka后，启动Kafka时提示如下问题： [ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-server-start.sh config/server.properties & [1] 25679 [ck@hadoop102 kafka_2.1 阅读全文
posted @ 2021-02-22 15:39 cqyyck 阅读(495) 评论(0) 推荐(0)
mysql—Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe" for details.
摘要：一、问题 MySQL启动时提示如下错误： [ck@hadoop102 conf]$ sudo systemctl start mysqld.service [sudo] atguigu 的密码： Job for mysqld.service failed because the control pr 阅读全文
posted @ 2021-02-08 10:06 cqyyck 阅读(5307) 评论(0) 推荐(0)
Linux—安装MySQL数据库
摘要：一、yum源安装 1、建立yum源 参照地址：https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/ [root@hadoop102 ~]#vi /etc/yum.repo.d/mysql.repo #添加以下内容： # Enable to 阅读全文
posted @ 2021-02-07 23:46 cqyyck 阅读(91) 评论(0) 推荐(0)
Linux—Yum源配置
摘要：1、yum命令 -repolist -info 类似rpm -qai -list yum管理的软件及版本，类似于rpm -qa；@开头表示已经安装 -y 当yum交互时，自动提供yes响应 --installroot=/some/path ,将软件安装到/some/path 而不是默认路径 -sea 阅读全文
posted @ 2021-02-07 23:06 cqyyck 阅读(97) 评论(0) 推荐(0)
Hive-FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要：一、问题 Hive安装好以后，查看数据库时提示“FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate 阅读全文
posted @ 2021-02-06 08:37 cqyyck 阅读(407) 评论(0) 推荐(0)
Linux—Crontab定时任务
摘要：一、语法 crontab [选项] 二、选项说明 -e：编辑crontab定时任务 -l：查询crontab任务 -r：删除当前用户所有的crontab任务 三、参数说明 运行 [root@hadoop101 ~] crontab -e * * * * * 任务 项目 含义 范围 第一个“*” 一小 阅读全文
posted @ 2021-02-02 09:17 cqyyck 阅读(85) 评论(0) 推荐(0)
PB—读取/写入本地ini文件
摘要：一、读取本地my.ini文件 二、读取 ProfileString(FileName,Part,Properties,Defaultvalue) ProfileInt(FileName,Part,Properties,Defaultvalue) ServerName=ProfileString("d 阅读全文
posted @ 2021-02-01 15:22 cqyyck 阅读(1019) 评论(0) 推荐(0)