数据结构：窗口最大值
摘要：最容易想到的算法是，遍历每个元素，还是在每个元素和后面两个元素进行比较获取最大值，这样一种两级循环的方式；没有问题。但是这样空间的复杂度就不是O(N)了，而是O(N*WindowCount)。 实现O(N)的一种方式就是：利用双端列表来实现。 一个源，数组，从入口参数中传入，一个变量，窗口Count
阅读全文
posted @ 2018-01-28 22:48
01 2018 档案
大数据实操
摘要：如何在CDSW中定制Docker镜像 2018-01-28 http://mp.weixin.qq.com/s/eQvVaXvcoBtocnmjARhVtg CDH5.14和CM5.14的新功能 2018-01-27 http://mp.weixin.qq.com/s/5yBuWqJqTjmDqd3
阅读全文
posted @ 2018-01-28 17:17
面试你的未来领导
摘要：1. 如果一个员工请假，15：30，但是他20分钟走了，你觉得他是因为什么？2. 如果有一个项目机会，PM都有项目在身，你会倾向于把项目交给一个非PM，但是平时表现还可以的人，还是会让一个工作量相对少的PM来做？3. 年底，存在利益分配不均问题，有人不满有怨言，你会怎么处理？
阅读全文
posted @ 2018-01-28 17:15
关于Gateway
摘要：为什么要有gateway？就是因为如果没有，很多的功能需要在在每个微服务中都实现，这样成本很高。
阅读全文
posted @ 2018-01-27 23:10
Kerberos的hive链接问题
摘要：javax.security.auth.login.LoginException: Checksum failed 之前碰到过类似的问题，都是因为服务器端的keytab问题；多半是因为重新生成了keytab后，客户端需要重新声场keytab；但是这次不是，即使我重新生成了客户端的keytab仍然无法
阅读全文
posted @ 2018-01-27 10:51
参数不统一，如何进行抽象？
摘要：今天在设计ImpalaService和HiveService的时候，其实大部分操作都是一样的；但是某些接口的参数不一样，但是我现在想要把他两抽成同一个interface；这意味着必须要接口一致才可以；于是我想到了就是把参数包装成一个参数类，这个参数类包含了双方的所需的参数，按需从这个参数里面处理。
阅读全文
posted @ 2018-01-27 10:38
常用Kerberos指令
摘要：1. 以超管身份进入kadminkadmin.local addprinc -randkey root/master1@JENKIN.COM //生成随机key的principal addprinc admin/admin //生成指定key的principal listprincs //查看pri
阅读全文
posted @ 2018-01-20 22:44
Kerberos的启动和关闭
摘要：Kerberos概念 1.Kerberos用户 Kerberos的本质是维护一套自己的用户；或者说是核心用户映射，比如你的系统用户里面有hdfs，那么我将会在KDC中创建一套基于机器（假设我们有三台安装了CDH的机器分别为slave1，slave2，slave3)的核心用户，于是需要创建如下用户（对
阅读全文
posted @ 2018-01-20 22:40
Hive的JDBC访问引发的Maven依赖的实践
摘要：invalid LOC header (bad signature) 原来是因为依赖问题，直接依赖“hive-server”的见解依赖jetty-all有冲突；诡异的是在main方法中执行是OK的，但是放到web工程里面就有问题；推测原因是web工程的tomcat的jar包和hive-server的
阅读全文
posted @ 2018-01-06 18:24
Hive的JDBC访问
摘要：实现hive查询源码： Invalid status 72 这个错误信息说明jdbc的url有错误；网上很多人发帖子说是hive2的端口是10002，后来发现在cloudera里面的hive2服务的端口是10000. 密码无所谓 至于jdbc里面的用户名和密码即使传“”，其实也无所谓。
阅读全文
posted @ 2018-01-06 18:20
spark远程调试
摘要：基本流程1.远程运行spark，打开Spark master机器的JVM的jdwp，让其阻塞监听指定端口（8888），让其有终端向指定端口发送特定请求再执行；2.IntelliJ配置socket远程连接spark机器的（扮演终端角色）；然后可成联调大业。实操1. 在远程机器上面提交spark任务，指
阅读全文
posted @ 2018-01-06 18:05
Dynamic Web Project vs Static Web Project 以及 Project facets
摘要：Dynamic Web Project vs Static Web Project 需要用到JSP，servlet等技术的动态服务器技术，就需要DWP；对于全部都是html页面的可以使用static web project，其实SWP的开发使用eclipse有什么意义呢？ Project facet
阅读全文
posted @ 2018-01-06 18:01
DOM对象和JQuery对象互转
摘要：实现点击某一个单元格，将单元格内部的sql提交执行： 这个执行牵涉到了两个知识点： 1. DOM对象和JQuery对象互转DOM->JQuery v =v[0]; //DOM对象 2. innerH
阅读全文
posted @ 2018-01-01 22:22
磁盘满了处理流程
摘要：确定有问题的挂载点：df -h 来看挂载点情况；通常有一个问题，就是想要确定某个目录的挂载点，其实就看这个目录从当前往上数，碰到的第一个挂载点就是了。比如有一个挂载点是/data（通过df -h来查看），那么/data/datadfs的挂载点就是/data。 其实还有一个种方式：df -h <目录路
阅读全文
posted @ 2018-01-01 17:10
spark gateway引发：跟踪Cloudera安装服务异常日志跟踪
摘要：spark gateway是用于接收cloudera管理的应用；可以上报数据，不影响正常使用。启动gateway失败，我觉得可能是因为配置问题？ 这个问题可能比较深，因为我通过查看日志（cloudera-scm-server的日志）看到了一头雾水的Error： 2017-12-31 03:24:03
阅读全文
posted @ 2018-01-01 16:54
Sentry深入
摘要：Sentry的架构 内部架构 核心就是规则引擎以及Metadata Store；记录格式有两种，一种policy file记录授权内容，另外一种是通过命令方式进行授权；前者记录在策略文件中，保存形式是hdfs的一个文件；后者则是记录在数据库中，保存在关系型数据库中（通常和hive的metadata保
阅读全文
posted @ 2018-01-01 16:48
Sentry入门
摘要：指令类型： 创建、删除角色： CREATE ROLE sentry_all; droop role admin_role; 角色授权/撤销权限： 数据库级别角色授权 GRANT ALL ON DATABASE default TO ROLE bd; 表级别角色授权 GRANT SELECT ON t
阅读全文
posted @ 2018-01-01 16:11
