摘要：
几个相关类与HBase数据模型之间的对应关系 一、HBaseConfiguration 关系：org.apache.hadoop.hbase.HBaseConfiguration 作用：对HBase进行配置 用法示例： HBaseConfiguration hconfig = new HBaseCo 阅读全文
摘要：
idea 创建多模块依赖Maven项目 本来网上的教程还算多，但是本着自己有的才是自己的原则，还是自己写一份的好，虽然可能自己也不会真的用得着。 1. 创建一个新maven项目 2. 3. 输入groupid和artifactid，后面步骤直接next，最后finish 4.创建好后 5. 在主项目 阅读全文
摘要：
package cn.piesat.sparkproject.jdbc; import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.Result 阅读全文
摘要：
Kafka 压力测试文档 1 概述 1.1 测试背景 在云平台研发SR IAD的过程中，出现SR IAD对硬件资源消耗较为严重的情况，其中在云平台研发中利用Kafka软件对流式数据进行数据处理。我们针对Kafka高吞吐量的特性，对kafka进行压力测试。 1.2 测试目标 测试kafka的吞吐性能( 阅读全文
摘要：
0.背景 有时候制作docker镜像生成容器时需要宿主机的hosts文件共享到容器中。首先想的是通过挂载的方式共享hosts文件，但是实践时发现根本行不通，hosts文件在/etc/目录下，如进行挂载将会将/etc/目录全部共享到容器中，如果容器与宿主机的系统不一致，这样挂载会给容器的微系统带来无法 阅读全文
摘要：
表达式全集 常用正则表达式 阅读全文
摘要：
1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从 阅读全文
摘要：
一、背景介绍 springboot默认的application.properties文件只能在项目内部，如果打成docker镜像后配置文件也打进去了，这样每次需要改动配置（比如数据库的连接信息）就需要重新打镜像，这样就十分麻烦。所以要是能将application.properties提到外部，在启动 阅读全文
摘要：
在springBoot+Mybatis日志显示SQL的执行情况的最简单方法就是在properties新增：logging.level.cn.piesat.mapper=debug 阅读全文
摘要：
1、方法中的参数全为val型。 例： def insertMap(map:=>Map[String,Int]):Unit={ map+=("b"->2) //报错 } 传递过来的map默认为val型，不可变。 2、方法中传递的参数非按地址传值。 这一点和java很不一样，也是很坑的一个地方。 阅读全文