02 2018 档案

如何在java List中进行模糊查询
摘要：比如我输入的查询条件为“wang”，那么应该返回只包含employee1的List列表。 List list = new ArrayList(); Employee employee1 = new Employee(); employee1.setName("wangqiang"); employe 阅读全文
posted @ 2018-02-28 17:54 Alamps 阅读(10925) 评论(0) 推荐(0) 编辑
sqoop
摘要：sqoop框架(工具)简介 ** RDBMS HDFS、HIVE、HBASE ** 原先数据库集群已有的数据 --> HDFS --> 分析 ** Hive分析结果 --> RDBMS(mysql) --> 报表展示 ** sqoop.apache.org ** apache版本 ** CDH版本 ====安装C... 阅读全文
posted @ 2018-02-27 09:06 Alamps 阅读(413) 评论(1) 推荐(0) 编辑
各种排序算法性能比较
摘要：插入排序包括直接插入排序、希尔排序。 1、直接插入排序： 如何写成代码： 首先设定插入次数，即循环次数，for(int i=1;i<length;i++)，1个数的那次不用插入。 设定插入数和得到已经排好序列的最后一个数的位数。insertNum和j=i-1。 从最后一个数开始向前循环，如果插入数小 阅读全文
posted @ 2018-02-26 16:13 Alamps 阅读(10369) 评论(0) 推荐(1) 编辑
常用Linux命令
摘要：[root@localhost workorderms]# find -type f -name '*.js'|xargs grep '/gen'./js/server/server.js: "url":"https://btsticket.cootel.com.kh/rolems/commonBi 阅读全文
posted @ 2018-02-25 13:09 Alamps 阅读(247) 评论(1) 推荐(0) 编辑
iptables查看、添加、删除规则
摘要：1、查看 iptables -nvL –line-number -L 查看当前表的所有规则，默认查看的是filter表，如果要查看NAT表，可以加上-t NAT参数 -n 不对ip地址进行反查，加上这个参数显示速度会快很多 -v 输出详细信息，包含通过该规则的数据包数量，总字节数及相应的网络接口 –line-number 显示规则的序列号，这个参数在删除或修改规则时会用到 2、添加 添加规则... 阅读全文
posted @ 2018-02-24 16:15 Alamps 阅读(33710) 评论(0) 推荐(6) 编辑
Hbase 读写 原理
摘要：客户端读取信息流程 （1）client要读取信息，先查询下client 端的cache中是否存在数据，如果存在，刚直接返回数据。如果不存在，则进入到zookeeper，查找到里面的相应数据存在的Root表中的地址。 （2）BlockCache;设计用于读入内存频繁访问的数据，每个列族都有 （3）通过数据存在ROOT表中地址找到.META，最终找到HRegion。找到HRegio... 阅读全文
posted @ 2018-02-13 16:34 Alamps 阅读(406) 评论(0) 推荐(0) 编辑
hive 调优手段
摘要：调优手段 （1）利用列裁剪 当待查询的表字段较多时，选取需要使用的字段进行查询，避免直接select *出大表的所有字段，以免当使用Beeline查询时控制台输出缓冲区被大数据量撑爆。 （2）JOIN避免笛卡尔积 JOIN场景应严格避免出现笛卡尔积的情况。参与笛卡尔积JOIN的两个表，交叉关联后的数据条数是两个原表记录数之积，对于JOIN后还有聚合的场景而言，会导致reduce端处理的数... 阅读全文
posted @ 2018-02-13 16:21 Alamps 阅读(4452) 评论(1) 推荐(2) 编辑
Hbase 系统架构(zhuan)
摘要：一、系统架构 客户端连接hbase依赖于zookeeper，hbase存储依赖于hadoop client： 1、包含访问 hbase 的接口， client 维护着一些 cache（缓存） 来加快对 hbase 的访问，比如 region 的 位置信息。 （经常使用的表的位置信息） zookeep 阅读全文
posted @ 2018-02-12 11:16 Alamps 阅读(346) 评论(0) 推荐(0) 编辑
Hbaseflush处理流程
摘要：Hbaseflush处理流程 flush的处理是个生产者消费者模式，通过MemStoreFlusher.requestFlush或者requestDelayedFlush来收集请求，通过多个FlushHandler(个数由参数hbase.hstore.flusher.count配置默认值2)来进行flush处理。使用的消息队列是用的DelayQueue flush前会对region的状态做一些... 阅读全文
posted @ 2018-02-12 10:13 Alamps 阅读(825) 评论(0) 推荐(0) 编辑
3范式
摘要：范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF... 阅读全文
posted @ 2018-02-12 10:07 Alamps 阅读(266) 评论(0) 推荐(0) 编辑