RICH-ATONE

2021年2月25日 #

Flume对接Kafka Source基础配置

摘要： #组件 #a1为定义的namea1.sources=r1a1.channels=c1a1.sinks=k1 #source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #定义source类型为Kafka Sourcea 阅读全文

posted @ 2021-02-25 22:29 RICH-ATONE 阅读(2739) 评论(0) 推荐(0) 编辑

Flume基础介绍

摘要：官网：https://flume.apache.org 概述 Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活可靠。Flume最主要的作用就是实时读取服务器本地磁盘数据，将数据写到HDFS。Flume针对特殊场景也具备良好的自定义扩展能力，因此，阅读全文

posted @ 2021-02-25 22:27 RICH-ATONE 阅读(242) 评论(0) 推荐(0) 编辑

2021年2月23日 #

Java中的序列化和反序列化详解

摘要： Java中的序列化和反序列化详解阅读全文

posted @ 2021-02-23 14:22 RICH-ATONE 阅读(84) 评论(0) 推荐(0) 编辑

2021年2月10日 #

ProcessFunction：Flink最底层API使用案例详解

摘要： ProcessFunction：Flink最底层API使用案例详解阅读全文

posted @ 2021-02-10 14:27 RICH-ATONE 阅读(138) 评论(0) 推荐(0) 编辑

2021年2月8日 #

Filebeat多Input配置文件参考

摘要： Filebeat基础参考（log到kafka，多配置文件参考） input配置 filebeat.config.inputs 参考官网（https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-configuration-rel 阅读全文

posted @ 2021-02-08 14:46 RICH-ATONE 阅读(1383) 评论(0) 推荐(0) 编辑

2021年2月4日 #

Sqoop的基本使用

摘要： MySQL导入到Hive或者HDFS #!/bin/bash dt=$1 year=$2 sqoop import \ --connect jdbc:mysql://192.168.4.230:3306/database?tinyInt1isBit=false \ --username 123 \ 阅读全文

posted @ 2021-02-04 18:46 RICH-ATONE 阅读(135) 评论(0) 推荐(0) 编辑

2021年2月3日 #

JAVA String.valueOf()方法的使用

摘要： JAVA String.valueOf()方法的使用 public class Decryptpid extends UDF { public Integer evaluate(String input) throws Exception { Integer result = 0 ; try { r 阅读全文

posted @ 2021-02-03 19:03 RICH-ATONE 阅读(214) 评论(0) 推荐(0) 编辑

2021年2月1日 #

查看hdfs目录占用磁盘大小

摘要： 1.查看hdfs各个分目录占用大小 hdfs dfs du -h /home/xx/xx 2.查看整个目录的占用大小 hdfs dfs -du -h -s /home/xx/xx 阅读全文

posted @ 2021-02-01 10:24 RICH-ATONE 阅读(2160) 评论(0) 推荐(0) 编辑

2021年1月29日 #

linux top命令

摘要： top后输入1 ，可查看cpu的核数及每个CPU的运行状况参考： linux分析工具之top命令详解阅读全文

posted @ 2021-01-29 11:21 RICH-ATONE 阅读(143) 评论(0) 推荐(0) 编辑

2021年1月28日 #

hive报错Exception in thread "main" java.lang.OutOfMemoryError: PermGen space

摘要：解决方法：在hive/conf/hive-env.sh文件中，加入下面的内容，问题得以解决： export HADOOP_OPTS="$HADOOP_OPTS -XX:PermSize=512M -XX:MaxPermSize=1024M" Exception in thread "main" j 阅读全文

posted @ 2021-01-28 18:45 RICH-ATONE 阅读(667) 评论(0) 推荐(0) 编辑