下士闻道

摘要： spark默认的partition的分区数是和本机CPU的核数保持一致； bucket的数量和reduce的数量一致；buket的概念是map会将计算获得数据放到各个buket中，每个bucket和一个reduce对应；bucket的数量其实就是和partition数量。而且是每个mapper都会写 阅读全文

摘要： 修改完了资源池的权限之后，发现无法查看日志了。报错： User [dr.who] is not authorized to view the logs for... 即使把资源池的权限设置为了*(所有人可以提交，可以admin），也是无法看。后来网调一下，发现原来你在资源池中打开了ACL，就意味着你 阅读全文

摘要： 每个action对应一个job，每个job里面会有很多个阶段（stage），其实每个stage都是一个算子（Operation），可能是transformation，可能是action；但是action一定是一个job的最后一个stage， 其实action之前的stage都是做DAG而已，真正触发 阅读全文

摘要： 解压缩之后， 进入nexus-3.6.2-01/bin文件夹中，执行： ./nexus start 如果使用root将会得到一个告警：Detected execution as "root" user. This is NOT recommended! 可以不理会，但是如果想要理会，修改/etc/p 阅读全文

摘要： 1. 关于部署 只要配置了Web Deployment Assembly，可以不需要手工拷贝引用jar到/WEB-INF/lib里面了，之前失败是因为引用工程的output路径有问题导致的，修改完成后，一切都和Java一样。就是需要增加一个Web Deployment Assembly的配置，这个配 阅读全文

摘要： 其实JSON在eclipse里面就可以自动化，不需要再联网去进行格式化； 然后通过http://www.bejson.com/java2pojo/ 即可实现json转java 但是要注意：从string到实例转换有的时候出错。因为之前json信息不全，所以本来应该是对象的字段可能会被理解为Strin 阅读全文

摘要： 实施一个哥们一个手抖，把/etc删掉了；别人无法ssh到上面，除了他。怎么办？ 从类似的OK机器中打包一个etc.tar，然后将etc.tar放到OK机器www服务器目录里面；然后在问题机器上面通过wget（此时已经不能用scp来进行传输）获取该etc.tar，解压缩完事。 此时还好就是这个哥们还留 阅读全文

摘要： 最近在研究jeesite，开始的套路是从头开始读，但是这样效率还是太低； 我觉得应该是调试，瞅准几个核心功能进行前后台跑，比如登录功能，一遍下来shiron基本搞通了，系统管理功能，比较简单，具有研究框架实现的意义，跑一边，里面的spancan以及cache等核心功能也是搞掂了。 当你把核心的点都跑 阅读全文

摘要： 1. userIndex里面，$ctx是在哪里定义的？ 就是request.context 2. 增加新的包后，扫描配置修改1) spring-context.xml文件中，扫描非@controller注解，需要添加路径 2）spring-context.xml文件中，MyBatis的类entity 阅读全文

摘要： C:\Program Files\MariaDB 10.1\data下面的my.ini文件，在[mysqld]节点下，增加一句： skip-grant-tables 重启MariaDB服务（mysql），然后就可以不需要密码登录 再进入mysql数据库，执行： update user set pas 阅读全文