关于yum
摘要：
1. yum的本地安装 yum的install --downloadonly并不会下载全部rpm，应该只是深入到两层或者一层，所以更深入到依赖还是需要自己手工下载，这个在手动安装jdk的时候已经发现； yum的localinstall的规则是高低两个rpm版本，他只会发现高版本，一旦发现依赖（高版本 阅读全文
posted @ 2018-02-10 22:39 张叫兽的技术研究院 阅读(211) 评论(0) 推荐(0) 编辑
Ambari-HDP
摘要：
文档说明以及下载路径 https://docs.hortonworks.com/index.html Ambari的安装路径 https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.0/bk_ambari-installation/content 阅读全文
posted @ 2018-02-10 22:36 张叫兽的技术研究院 阅读(2602) 评论(0) 推荐(0) 编辑
Ambari的API调用
摘要：
GET api/v1/clusters/HDP/configurations可以获得所有的配置信息（例如，http://hdp0:8080/api/v1/clusters/HDP/configurations）；但是只是一级信息； 比如我想要获得yarn的scheduler的节点信息，将会找到： 1 阅读全文
posted @ 2018-02-10 22:28 张叫兽的技术研究院 阅读(451) 评论(0) 推荐(0) 编辑
CentOS上面搭建SVN服务器
摘要：
1.安装svn sudo yum install subversion 查看安装位置 which svnserve 确认安装成功 svnserve --version 2.修改全局配置文件修改全局配置文件，修改svn仓库的路径/etc/sysconfig/svnserve修改OPTION参数为仓库路 阅读全文
posted @ 2018-02-05 19:30 张叫兽的技术研究院 阅读(139) 评论(0) 推荐(0) 编辑
hive字段原理--有删除一列想到的
摘要：
hive删除一张表的字段不会动数据文件，只是修改了一下metadata表里面的表定义；所以会出现一种情况：就是这张表如果之前数据是满的（个格列都有数据），那么被删除的那列后数据都往前窜了一个，最后一个数据看不到了；此时如果再最后添加一列，将会看到最后一个数据，所以在hive的M-R做数据映射的时候不 阅读全文
posted @ 2018-02-05 19:25 张叫兽的技术研究院 阅读(923) 评论(0) 推荐(0) 编辑
JUnit测试，获取Spring MVC环境
摘要：
其他的测试类继承此类即可；在JUnit运行的时候将会加载spring的context，可以用于测试controller以及Service 阅读全文
posted @ 2018-02-05 19:19 张叫兽的技术研究院 阅读(251) 评论(0) 推荐(0) 编辑
数据结构：窗口最大值
摘要：
最容易想到的算法是，遍历每个元素，还是在每个元素和后面两个元素进行比较获取最大值，这样一种两级循环的方式；没有问题。但是这样空间的复杂度就不是O(N)了，而是O(N*WindowCount)。 实现O(N)的一种方式就是：利用双端列表来实现。 一个源，数组，从入口参数中传入，一个变量，窗口Count 阅读全文
posted @ 2018-01-28 22:48 张叫兽的技术研究院 阅读(472) 评论(0) 推荐(0) 编辑
大数据实操
摘要：
如何在CDSW中定制Docker镜像 2018-01-28 http://mp.weixin.qq.com/s/eQvVaXvcoBtocnmjARhVtg CDH5.14和CM5.14的新功能 2018-01-27 http://mp.weixin.qq.com/s/5yBuWqJqTjmDqd3 阅读全文
posted @ 2018-01-28 17:17 张叫兽的技术研究院 阅读(873) 评论(0) 推荐(0) 编辑
