下士闻道

摘要：最容易想到的算法是，遍历每个元素，还是在每个元素和后面两个元素进行比较获取最大值，这样一种两级循环的方式；没有问题。但是这样空间的复杂度就不是O(N)了，而是O(N*WindowCount)。 实现O(N)的一种方式就是：利用双端列表来实现。 一个源，数组，从入口参数中传入，一个变量，窗口Count 阅读全文

摘要：如何在CDSW中定制Docker镜像 2018-01-28 http://mp.weixin.qq.com/s/eQvVaXvcoBtocnmjARhVtg CDH5.14和CM5.14的新功能 2018-01-27 http://mp.weixin.qq.com/s/5yBuWqJqTjmDqd3 阅读全文

摘要：1. 如果一个员工请假，15：30，但是他20分钟走了，你觉得他是因为什么？2. 如果有一个项目机会，PM都有项目在身，你会倾向于把项目交给一个非PM，但是平时表现还可以的人，还是会让一个工作量相对少的PM来做？3. 年底，存在利益分配不均问题，有人不满有怨言，你会怎么处理？ 阅读全文

摘要：为什么要有gateway？就是因为如果没有，很多的功能需要在在每个微服务中都实现，这样成本很高。 阅读全文

摘要：javax.security.auth.login.LoginException: Checksum failed 之前碰到过类似的问题，都是因为服务器端的keytab问题；多半是因为重新生成了keytab后，客户端需要重新声场keytab；但是这次不是，即使我重新生成了客户端的keytab仍然无法 阅读全文

摘要：今天在设计ImpalaService和HiveService的时候，其实大部分操作都是一样的；但是某些接口的参数不一样，但是我现在想要把他两抽成同一个interface；这意味着必须要接口一致才可以；于是我想到了就是把参数包装成一个参数类，这个参数类包含了双方的所需的参数，按需从这个参数里面处理。 阅读全文

摘要：1. 以超管身份进入kadminkadmin.local addprinc -randkey root/master1@JENKIN.COM //生成随机key的principal addprinc admin/admin //生成指定key的principal listprincs //查看pri 阅读全文

摘要：Kerberos概念 1.Kerberos用户 Kerberos的本质是维护一套自己的用户；或者说是核心用户映射，比如你的系统用户里面有hdfs，那么我将会在KDC中创建一套基于机器（假设我们有三台安装了CDH的机器分别为slave1，slave2，slave3)的核心用户，于是需要创建如下用户（对 阅读全文

摘要：invalid LOC header (bad signature) 原来是因为依赖问题，直接依赖“hive-server”的见解依赖jetty-all有冲突；诡异的是在main方法中执行是OK的，但是放到web工程里面就有问题；推测原因是web工程的tomcat的jar包和hive-server的 阅读全文

摘要：实现hive查询源码： Invalid status 72 这个错误信息说明jdbc的url有错误；网上很多人发帖子说是hive2的端口是10002，后来发现在cloudera里面的hive2服务的端口是10000. 密码无所谓 至于jdbc里面的用户名和密码即使传“”，其实也无所谓。 阅读全文

摘要：基本流程1.远程运行spark，打开Spark master机器的JVM的jdwp，让其阻塞监听指定端口（8888），让其有终端向指定端口发送特定请求再执行；2.IntelliJ配置socket远程连接spark机器的（扮演终端角色）；然后可成联调大业。实操1. 在远程机器上面提交spark任务，指 阅读全文

摘要：Dynamic Web Project vs Static Web Project 需要用到JSP，servlet等技术的动态服务器技术，就需要DWP；对于全部都是html页面的可以使用static web project，其实SWP的开发使用eclipse有什么意义呢？ Project facet 阅读全文

摘要：汉诺塔 位置不同，意义不同 阅读全文

摘要：实现点击某一个单元格，将单元格内部的sql提交执行： 这个执行牵涉到了两个知识点： 1. DOM对象和JQuery对象互转DOM->JQuery $(DOM) // JQuery对象JQuery ->DOM var $v =$("#v") var v=$v[0]; //DOM对象 2. innerH 阅读全文

摘要：确定有问题的挂载点：df -h 来看挂载点情况；通常有一个问题，就是想要确定某个目录的挂载点，其实就看这个目录从当前往上数，碰到的第一个挂载点就是了。比如有一个挂载点是/data（通过df -h来查看），那么/data/datadfs的挂载点就是/data。 其实还有一个种方式：df -h <目录路 阅读全文

摘要：spark gateway是用于接收cloudera管理的应用；可以上报数据，不影响正常使用。启动gateway失败，我觉得可能是因为配置问题？ 这个问题可能比较深，因为我通过查看日志（cloudera-scm-server的日志）看到了一头雾水的Error： 2017-12-31 03:24:03 阅读全文

摘要：Sentry的架构 内部架构 核心就是规则引擎以及Metadata Store；记录格式有两种，一种policy file记录授权内容，另外一种是通过命令方式进行授权；前者记录在策略文件中，保存形式是hdfs的一个文件；后者则是记录在数据库中，保存在关系型数据库中（通常和hive的metadata保 阅读全文

摘要：指令类型： 创建、删除角色： CREATE ROLE sentry_all; droop role admin_role; 角色授权/撤销权限： 数据库级别角色授权 GRANT ALL ON DATABASE default TO ROLE bd; 表级别角色授权 GRANT SELECT ON t 阅读全文