摘要：
spark通過idea远程提交job到yarn: Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to fiel 阅读全文
摘要：
Hdp版本: <repositories> <repository> <id>nexus</id> <name>local private nexus</name> <url> https://repo.hortonworks.com/content/repositories/releases/</ 阅读全文
摘要：
mvn dependency:copy-dependencies -DoutputDirectory=lib 阅读全文
摘要：
解决方法: 找到1.19版本放到spark的jars目录下 阅读全文
摘要：
1.原先使用版本：apache-kylin-2.5.1-bin-hbase1x 原生版本 启动报错出现异常： Failed to find metadata store by url: kylin_metadata@hbase Caused by: java.lang.NoSuchMethodErr 阅读全文
摘要：
1.为什么要做拉链表 拉链表适用于同步新增和变化的数据！对于周期型事实表，采用同步新增和变化的方式！ 使用场景： 1）比如订单状态： 三天内该订单状态发生了变化，但是同一个事物内进行的 2）人的出行轨迹 2.拉链表在hive中使用 以同步order_info为例以下为Mysql中数据的记录形式202 阅读全文
摘要：
恢复内容开始 一、各个层作用 ODS：直接加载的是采集到的原始数据，数据保存原貌不做处理，就一个字段（一行就是一个日志字符串），使用天作为分区表，一般为json数据 DWD:对ods的数据进行展开 例如：如果采集的日志分类型的，可以根据事件的类型分为多个表 电商的比如：点赞、启动、评论、点击、广告、 阅读全文
摘要：
一、第一层采集通道的编写 1.第一层采集脚本Source的选择①Source: 数据源在日志文件中! 读取日志中的数据，可以使用以下Source ExecSource: 可以执行一个linux命令，例如tail -f 日志文件， 讲读取的到的数据封装为Event！ 不用！不安全，可能丢数据！ Spo 阅读全文
摘要：
阻塞队列 **==ArrayBlockingQueue==**是一个基于数组结构的有界阻塞队列，此队列按FIFO原则对元素进行排序 **==LinkedBlockingQueue==**是一个基于链表结构的阻塞队列，此队列按FIFO排序元素，吞吐量通常要高于ArrayBlockingQueue ** 阅读全文
摘要：
CountDownLatch 让一些线程堵塞直到另一个线程完成一系列操作后才被唤醒。CountDownLatch 主要有两个方法，当一个或多个线程调用 await 方法时，调用线程会被堵塞，其他线程调用 countDown 方法会将计数减一（调用 countDown 方法的线程不会堵塞），当计数其值 阅读全文