摘要:
spark通過idea远程提交job到yarn: Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to fiel 阅读全文
摘要:
Hdp版本: <repositories> <repository> <id>nexus</id> <name>local private nexus</name> <url> https://repo.hortonworks.com/content/repositories/releases/</ 阅读全文
摘要:
mvn dependency:copy-dependencies -DoutputDirectory=lib 阅读全文
摘要:
解决方法: 找到1.19版本放到spark的jars目录下 阅读全文
摘要:
1.原先使用版本:apache-kylin-2.5.1-bin-hbase1x 原生版本 启动报错出现异常: Failed to find metadata store by url: kylin_metadata@hbase Caused by: java.lang.NoSuchMethodErr 阅读全文
摘要:
1.为什么要做拉链表 拉链表适用于同步新增和变化的数据!对于周期型事实表,采用同步新增和变化的方式! 使用场景: 1)比如订单状态: 三天内该订单状态发生了变化,但是同一个事物内进行的 2)人的出行轨迹 2.拉链表在hive中使用 以同步order_info为例以下为Mysql中数据的记录形式202 阅读全文
摘要:
恢复内容开始 一、各个层作用 ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据 DWD:对ods的数据进行展开 例如:如果采集的日志分类型的,可以根据事件的类型分为多个表 电商的比如:点赞、启动、评论、点击、广告、 阅读全文
摘要:
一、第一层采集通道的编写 1.第一层采集脚本Source的选择①Source: 数据源在日志文件中! 读取日志中的数据,可以使用以下Source ExecSource: 可以执行一个linux命令,例如tail -f 日志文件, 讲读取的到的数据封装为Event! 不用!不安全,可能丢数据! Spo 阅读全文
摘要:
阻塞队列 **==ArrayBlockingQueue==**是一个基于数组结构的有界阻塞队列,此队列按FIFO原则对元素进行排序 **==LinkedBlockingQueue==**是一个基于链表结构的阻塞队列,此队列按FIFO排序元素,吞吐量通常要高于ArrayBlockingQueue ** 阅读全文
摘要:
CountDownLatch 让一些线程堵塞直到另一个线程完成一系列操作后才被唤醒。CountDownLatch 主要有两个方法,当一个或多个线程调用 await 方法时,调用线程会被堵塞,其他线程调用 countDown 方法会将计数减一(调用 countDown 方法的线程不会堵塞),当计数其值 阅读全文