摘要：
压缩格式的设置 set mapred.output.compression= |压缩格式|工具|算法|扩展名|是否支持分割|Hadoop编码/解码器| | | | | | | | |default||deflate|.deflate|No|org.apache.hadoop.io.compress. 阅读全文
posted @ 2022-12-08 15:26
jsqup
阅读(50)
评论(0)
推荐(0)
摘要：
1. 文件存储格式 TextFile SequeceFile RCFile ORCFile PARQuet 2. 说明 |格式|导入数据方式| |--|--| |textfile|将数据文件直接拷贝到hdfs上，不进行处理| |SequenceFile, RCFile, ORCFile, PARQu 阅读全文
posted @ 2022-12-07 15:53
jsqup
阅读(76)
评论(0)
推荐(0)
摘要：
sql语句 (SELECT * FROM t1 WHERE {subquery_where_condition}) a JOIN (SELECT * FROM t2 WHERE {subquery_where_condition}) b ON {on_condition} WHERE {where_ 阅读全文
posted @ 2022-12-07 15:25
jsqup
阅读(253)
评论(0)
推荐(0)
摘要：
1. 什么是行式存储和列式存储？ 2. 行式存储分析？ 缺点： -- 行式在读取数据的时候，所查询的目标只涉及少数几项属性，但由于这些目标数据埋藏在各行数据单元中，而行单元又特别大，必须读取每一条完整的行记录，从而使得读取效率大大降低。 -- 可以加索引或给表分区进行优化。 优点： -- 1. 适合 阅读全文
posted @ 2022-12-02 15:05
jsqup
阅读(145)
评论(0)
推荐(0)
摘要：
路径 C:\Windows\System32\drivers\etc\hosts 注意 HDFS可视化界面上如果要下载某一个，必须配置主机和ip的映射关系 阅读全文
posted @ 2022-09-20 11:42
jsqup
阅读(206)
评论(0)
推荐(0)
摘要：
上传，解压 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz cd kafka-eagle-bin-3.0.1 tar -zxvf efak-web-3.0.1-bin.tar.gz mv efak-web-3.0.1 /opt/app/ 配置文件system-confi 阅读全文
posted @ 2022-09-20 10:26
jsqup
阅读(612)
评论(0)
推荐(0)
摘要：
import java.util.Properties import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession} object DayFlow { def main(args: Arr 阅读全文
posted @ 2022-09-15 11:40
jsqup
阅读(311)
评论(0)
推荐(0)
摘要：
fileToHdfs.conf文件 #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks = k1 #channel别名：c1 a1.channels = c1 # 定义flume的source数据源 文件 a1.sources.r1.type = ex 阅读全文
posted @ 2022-09-15 10:26
jsqup
阅读(98)
评论(0)
推荐(0)
摘要：
package camera import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession // 摄像异常状态的功能代码 object CameraAbnormality { def main(args: Arr 阅读全文
posted @ 2022-09-15 10:19
jsqup
阅读(146)
评论(0)
推荐(0)
摘要：
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文
posted @ 2022-09-15 10:17
jsqup
阅读(40)
评论(0)
推荐(0)
浙公网安备 33010602011771号