下士闻道

摘要： spark gateway是用于接收cloudera管理的应用；可以上报数据，不影响正常使用。启动gateway失败，我觉得可能是因为配置问题？ 这个问题可能比较深，因为我通过查看日志（cloudera-scm-server的日志）看到了一头雾水的Error： 2017-12-31 03:24:03 阅读全文

摘要： Sentry的架构 内部架构 核心就是规则引擎以及Metadata Store；记录格式有两种，一种policy file记录授权内容，另外一种是通过命令方式进行授权；前者记录在策略文件中，保存形式是hdfs的一个文件；后者则是记录在数据库中，保存在关系型数据库中（通常和hive的metadata保 阅读全文

摘要： 指令类型： 创建、删除角色： CREATE ROLE sentry_all; droop role admin_role; 角色授权/撤销权限： 数据库级别角色授权 GRANT ALL ON DATABASE default TO ROLE bd; 表级别角色授权 GRANT SELECT ON t 阅读全文

摘要： hive jdbc执行select count(*) from test报错。 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask google网调（百度毛也没有搜到，还是国内大牛都不屑于回答问题），终于发现原来是因为jdb 阅读全文

摘要： RESTful风格里面，@ModelAttribute是一个语义复杂的对象，其中一个就是在所有的被@Controller修饰的方法之前执行； @RequestParam：是指url中“?”之后的queryString的内容； public ResourcePool get(@RequestParam 阅读全文

摘要： 刚才一直奇怪为什么svn管理某个路径下总是报要提交，但是进入同步模式，看不到任何内容，就是告诉该文件夹要提交；后来才发现原来是我添加了一个该文件夹下的文件为svn:ignor，所以要提交以下。 阅读全文

摘要： JSON的null字段 在我的项目中修改了YARN的资源池，到cloudera中就报错，查询还不报错，但是修改的时候，就报错，大致意思就是信息有异常，“包含了尖括号。 因为通过API+json交互，我就怀疑是不是因为我提交的json格式有错，因为只要把从这边添加的用户删除了，cloudera那边就好 阅读全文

摘要： 看了李林峰的gRpc的文章，我突然发现学会关注线程模型，是了解技术框架非常重要的，甚至是关键的。 阅读全文

摘要： ethtool network_name 关注 Supported link modes以及Speed 例如： 可以获知网卡是10/100/1000M网卡自适应；当前交换机/路由器l是100M，所以传输速度是100M； 另外就如果网口没有插网线，speed是10M. 所谓Half和full是指半工和 阅读全文

摘要： spark默认的partition的分区数是和本机CPU的核数保持一致； bucket的数量和reduce的数量一致；buket的概念是map会将计算获得数据放到各个buket中，每个bucket和一个reduce对应；bucket的数量其实就是和partition数量。而且是每个mapper都会写 阅读全文