摘要：
1.介绍 ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 2.安装 注意：要把mysql的驱动放在jdk的/jre/lib/ext目录下。 2.1 原始安 阅读全文
摘要：
1.本地开发环境安装 1..本地添加如下映射（windows地址:C:\Windows\System32\drivers\etc） 192.168.83.48 node-master1pZiu 192.168.83.158 node-str-coreHikL 192.168.83.174 node- 阅读全文
摘要：
很多时候我们需要把excel数据需要导入数仓，每次有新数据就需要重新开发模板，或者需要对某个数据进行校验时就需要重新修改代码，鉴于这种现状，我个人觉得可以通过规则引擎很好的解决这个问题，此文只是线下导数系统的开头，主要是对Urule集成Springboot的一个例子。 Urule规则引擎在使用时分为 阅读全文
摘要：
常见的日志系统是基于logstach+elasticsearch+kibna框架搭建的,但是有时候kibana的查询无法满足我们的要求，因此有时需要代码去操作es,本文后续都以es代替elasticsearch。 一.es基本概念理解 索引：含有相同属性的文档的集合.(可理解为数据库database 阅读全文
摘要：
为了方便使用Spark的同学提交任务以及加强任务管理等原因，经调研采用Livy比较靠谱，下图大致罗列一下几种提交平台的差别。 本文会以基于mac的单机环境搭建一套Spark+Livy+Hadoop来展示如何提交任务运行,本文只针对框架能够运行起来，至于各个组件参数怎么配置性能更好，各位兄弟就自行找度 阅读全文
摘要：
一.Hbase架构与理解 Hbase架构大致如下，图片取自https://www.cnblogs.com/linkworld/p/10963910.html。 二.Hbase shell操作 创建Hbase表时默认有一个region,这个region的rowkey是没有边界的，即没有开始的star 阅读全文
摘要：
Python3出来了，使用的人也越来越多，Python2逐渐被抛弃,为了方便包管理并且想运行多个python版本的代码，自然就想到使用Anaconda了。 阅读全文
摘要：
python读写mysql 阅读全文
摘要：
scala和java混合的spark程序之前使用其他配置始终有报找不到包的情况，尝试了一下如下配置可以打包成功。<build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven< 阅读全文