Alamps 沁园春

摘要： sqoop框架(工具)简介 ** RDBMS HDFS、HIVE、HBASE ** 原先数据库集群已有的数据 --> HDFS --> 分析 ** Hive分析结果 --> RDBMS(mysql) --> 报表展示 ** sqoop.apache.org ** apache版本 ** CDH版本 ====安装C... 阅读全文

摘要： 插入排序包括直接插入排序、希尔排序。 1、直接插入排序： 如何写成代码： 首先设定插入次数，即循环次数，for(int i=1;i<length;i++)，1个数的那次不用插入。 设定插入数和得到已经排好序列的最后一个数的位数。insertNum和j=i-1。 从最后一个数开始向前循环，如果插入数小 阅读全文

摘要： [root@localhost workorderms]# find -type f -name '*.js'|xargs grep '/gen'./js/server/server.js: "url":"https://btsticket.cootel.com.kh/rolems/commonBi 阅读全文

摘要： 1、查看 iptables -nvL –line-number -L 查看当前表的所有规则，默认查看的是filter表，如果要查看NAT表，可以加上-t NAT参数 -n 不对ip地址进行反查，加上这个参数显示速度会快很多 -v 输出详细信息，包含通过该规则的数据包数量，总字节数及相应的网络接口 –line-number 显示规则的序列号，这个参数在删除或修改规则时会用到 2、添加 添加规则... 阅读全文

摘要： 客户端读取信息流程 （1）client要读取信息，先查询下client 端的cache中是否存在数据，如果存在，刚直接返回数据。如果不存在，则进入到zookeeper，查找到里面的相应数据存在的Root表中的地址。 （2）BlockCache;设计用于读入内存频繁访问的数据，每个列族都有 （3）通过数据存在ROOT表中地址找到.META，最终找到HRegion。找到HRegio... 阅读全文

摘要： 调优手段 （1）利用列裁剪 当待查询的表字段较多时，选取需要使用的字段进行查询，避免直接select *出大表的所有字段，以免当使用Beeline查询时控制台输出缓冲区被大数据量撑爆。 （2）JOIN避免笛卡尔积 JOIN场景应严格避免出现笛卡尔积的情况。参与笛卡尔积JOIN的两个表，交叉关联后的数据条数是两个原表记录数之积，对于JOIN后还有聚合的场景而言，会导致reduce端处理的数... 阅读全文

摘要： 一、系统架构 客户端连接hbase依赖于zookeeper，hbase存储依赖于hadoop client： 1、包含访问 hbase 的接口， client 维护着一些 cache（缓存） 来加快对 hbase 的访问，比如 region 的 位置信息。 （经常使用的表的位置信息） zookeep 阅读全文

摘要： Hbaseflush处理流程 flush的处理是个生产者消费者模式，通过MemStoreFlusher.requestFlush或者requestDelayedFlush来收集请求，通过多个FlushHandler(个数由参数hbase.hstore.flusher.count配置默认值2)来进行flush处理。使用的消息队列是用的DelayQueue flush前会对region的状态做一些... 阅读全文

摘要： 范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF... 阅读全文

摘要： package egsql import java.util.Properties import com.sun.org.apache.xalan.internal.xsltc.compiler.util.IntType import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SparkSession} im... 阅读全文