随笔分类 - 大数据

线下数据导入之Urule规则引擎

摘要：很多时候我们需要把excel数据需要导入数仓，每次有新数据就需要重新开发模板，或者需要对某个数据进行校验时就需要重新修改代码，鉴于这种现状，我个人觉得可以通过规则引擎很好的解决这个问题，此文只是线下导数系统的开头，主要是对Urule集成Springboot的一个例子。 Urule规则引擎在使用时分为阅读全文

posted @ 2020-07-07 16:37 人不疯狂枉一生阅读(1463) 评论(0) 推荐(0) 编辑

基于Livy的Spark提交平台搭建与开发

摘要：为了方便使用Spark的同学提交任务以及加强任务管理等原因，经调研采用Livy比较靠谱，下图大致罗列一下几种提交平台的差别。本文会以基于mac的单机环境搭建一套Spark+Livy+Hadoop来展示如何提交任务运行,本文只针对框架能够运行起来，至于各个组件参数怎么配置性能更好，各位兄弟就自行找度阅读全文

posted @ 2019-11-26 10:06 人不疯狂枉一生阅读(2512) 评论(0) 推荐(0) 编辑