摘要：
1 Nginx Nginx("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好. 2.正向代理和反向代理 正向代理类似一个跳板机，代理访问外部资源. 用户-->代理服务器-->要访问的网站 反向代 阅读全文
摘要：
1.Hive自定义函数之UDF package my_len; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthExc 阅读全文
摘要：
1.Hadoop压缩配置 因为hive的文件是存储在HDFS上的 所以要先了解hadoop的文件压缩格式和配置 1.1MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz 阅读全文
摘要：
1.常用函数 常用函数 一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp(); select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime：将时间戳转 阅读全文
摘要：
1.kafka官网:kafka官网 1.kafka概述 1)Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。（传统使用） Kafka是一个开源的分布式事件流平台（event streaming platform），被数千家公司用于高性 阅读全文
摘要：
__consumer_offsets consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets __consumer_offsets 为kafka中的topic， 那就可以通过消费者进行消费. 大概思路: 1.先启动一个生产者: o 阅读全文
摘要：
kafkaserver.properties配置文件 server.properties #server.properties #broker的全局唯一编号，不能重复 broker.id=0 #删除topic功能使能,当前版本此配置默认为true，已从配置文件移除 delete.topic.enab 阅读全文
摘要：
sqoop底层没有reducer 只有n个mapper --显示sqoop连接到的数据库列表sqoop list-databases --connect jdbc:mysql://Ava01:3306 -username root -password 123456--sqoop import dat 阅读全文