hive JDBC异常到多租户
摘要：hive jdbc执行select count(*) from test报错。 return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask google网调（百度毛也没有搜到，还是国内大牛都不屑于回答问题），终于发现原来是因为jdb
阅读全文
posted @ 2017-12-23 22:11
12 2017 档案
如何让RESTful支持DEL和PUT
摘要：RESTful风格里面，@ModelAttribute是一个语义复杂的对象，其中一个就是在所有的被@Controller修饰的方法之前执行； @RequestParam：是指url中“?”之后的queryString的内容； public ResourcePool get(@RequestParam
阅读全文
posted @ 2017-12-16 21:31
svn的ignor也是要提交的
摘要：刚才一直奇怪为什么svn管理某个路径下总是报要提交，但是进入同步模式，看不到任何内容，就是告诉该文件夹要提交；后来才发现原来是我添加了一个该文件夹下的文件为svn:ignor，所以要提交以下。
阅读全文
posted @ 2017-12-16 20:44
一次调用cloudera的的API和JSON想到的
摘要：JSON的null字段 在我的项目中修改了YARN的资源池，到cloudera中就报错，查询还不报错，但是修改的时候，就报错，大致意思就是信息有异常，“包含了尖括号。 因为通过API+json交互，我就怀疑是不是因为我提交的json格式有错，因为只要把从这边添加的用户删除了，cloudera那边就好
阅读全文
posted @ 2017-12-16 20:39
关注线程模型
摘要：看了李林峰的gRpc的文章，我突然发现学会关注线程模型，是了解技术框架非常重要的，甚至是关键的。
阅读全文
posted @ 2017-12-10 22:09
如何查看网卡类型（最大传输速度）
摘要：ethtool network_name 关注 Supported link modes以及Speed 例如： 可以获知网卡是10/100/1000M网卡自适应；当前交换机/路由器l是100M，所以传输速度是100M； 另外就如果网口没有插网线，speed是10M. 所谓Half和full是指半工和
阅读全文
posted @ 2017-12-10 22:07
spark分区
摘要：spark默认的partition的分区数是和本机CPU的核数保持一致； bucket的数量和reduce的数量一致；buket的概念是map会将计算获得数据放到各个buket中，每个bucket和一个reduce对应；bucket的数量其实就是和partition数量。而且是每个mapper都会写
阅读全文
posted @ 2017-12-10 22:05
YARN的ACL
摘要：修改完了资源池的权限之后，发现无法查看日志了。报错： User [dr.who] is not authorized to view the logs for... 即使把资源池的权限设置为了*(所有人可以提交，可以admin），也是无法看。后来网调一下，发现原来你在资源池中打开了ACL，就意味着你
阅读全文
posted @ 2017-12-10 21:56
spark流程跟踪
摘要：每个action对应一个job，每个job里面会有很多个阶段（stage），其实每个stage都是一个算子（Operation），可能是transformation，可能是action；但是action一定是一个job的最后一个stage， 其实action之前的stage都是做DAG而已，真正触发
阅读全文
posted @ 2017-12-10 21:53
Nexus安装以及2,3比较
摘要：解压缩之后， 进入nexus-3.6.2-01/bin文件夹中，执行： ./nexus start 如果使用root将会得到一个告警：Detected execution as "root" user. This is NOT recommended! 可以不理会，但是如果想要理会，修改/etc/p
阅读全文
posted @ 2017-12-09 19:16
Eclipse之Web工程探究以及格式化
摘要：1. 关于部署 只要配置了Web Deployment Assembly，可以不需要手工拷贝引用jar到/WEB-INF/lib里面了，之前失败是因为引用工程的output路径有问题导致的，修改完成后，一切都和Java一样。就是需要增加一个Web Deployment Assembly的配置，这个配
阅读全文
posted @ 2017-12-09 19:01
JSON格式化以及转化为Entity事项
摘要：其实JSON在eclipse里面就可以自动化，不需要再联网去进行格式化； 然后通过http://www.bejson.com/java2pojo/ 即可实现json转java 但是要注意：从string到实例转换有的时候出错。因为之前json信息不全，所以本来应该是对象的字段可能会被理解为Strin
阅读全文
posted @ 2017-12-09 11:13
/etc删了怎么办
摘要：实施一个哥们一个手抖，把/etc删掉了；别人无法ssh到上面，除了他。怎么办？ 从类似的OK机器中打包一个etc.tar，然后将etc.tar放到OK机器www服务器目录里面；然后在问题机器上面通过wget（此时已经不能用scp来进行传输）获取该etc.tar，解压缩完事。 此时还好就是这个哥们还留
阅读全文
posted @ 2017-12-03 21:16
源码的研究
摘要：最近在研究jeesite，开始的套路是从头开始读，但是这样效率还是太低； 我觉得应该是调试，瞅准几个核心功能进行前后台跑，比如登录功能，一遍下来shiron基本搞通了，系统管理功能，比较简单，具有研究框架实现的意义，跑一边，里面的spancan以及cache等核心功能也是搞掂了。 当你把核心的点都跑
阅读全文
posted @ 2017-12-03 21:07
Jeesite开垦
摘要：1. userIndex里面，$ctx是在哪里定义的？ 就是request.context 2. 增加新的包后，扫描配置修改1) spring-context.xml文件中，扫描非@controller注解，需要添加路径 2）spring-context.xml文件中，MyBatis的类entity
阅读全文
posted @ 2017-12-03 21:01
MariaDB10.1找回密码
摘要：C:\Program Files\MariaDB 10.1\data下面的my.ini文件，在[mysqld]节点下，增加一句： skip-grant-tables 重启MariaDB服务（mysql），然后就可以不需要密码登录 再进入mysql数据库，执行： update user set pas
阅读全文
posted @ 2017-12-02 13:20
jeesite笔记
摘要：1.Jeesite的db配置： jeesite.properties 2.Jeesite扫描配置 对于新加的包，需要添加到扫描，注意spring-context.xml中的autoscan只是扫描非controller的声明；spring-mvc.xml配置文件中只是扫描controller；注意一
阅读全文
posted @ 2017-12-02 13:19
Eclipse jar包源码下载
摘要：在使用intelliJ的时候，可以在IDE中直接下载jar包； Eclipse也可以！就是插件Java Source Attacher 这个插件是放在eclipse安装目录的dropins目录下。重启eclipse，即可在jar的文件上右键，下载源码。 如果你是用的是maven，那么这个也不需要了，
阅读全文
posted @ 2017-12-02 13:18
数据库方言
摘要：关系型数据库都是支持标准SQL的，但是每个数据库都有自己一些特殊语法，比如Mysql的limit，oracle的rownumber等；这些特有的语法被称之为方言； 比如在看jeesite源码的时候，就针对各个数据设置了方言，不过因为功能有限，只是实现了分页的方言，比如mysql增加了limit的处理
阅读全文
posted @ 2017-12-02 12:07
Cloudera API访问
摘要：多租户管理页面（admin）操作 cloudera 管理页面页面操作多租户是这样的： 进入到YARN的服务页面，点击Resource Pool，你将会看到已经存在的资源池，然后再点击资源池表格右上角的”configuration“，进入到配置页面；默认是进入第一个Tab：Resource Pools
阅读全文
posted @ 2017-12-02 12:04
