制作开机启动脚本
摘要：
就以zookeeper的脚本启动作为例。 1.在/etc/init.d文件夹下面创建zookeeper文件 2.在文件中附加如下内容 此时就可以通过 service zookeeper restart 来进行重启等操作；3.实现开机启动 阅读全文
posted @ 2017-11-20 14:31 张叫兽的技术研究院 阅读(239) 评论(0) 推荐(0) 编辑
Maven: 自动远程部署
摘要：
1. 在settings.xml中的Servers节点中增加Server的登录信息： 2. 在pom中的build节点增加extensions内容： 3. 在plugin中增加plug 4. 在命令行执行： mvn clean package wagon:sshexec wagon:upload-s 阅读全文
posted @ 2017-11-19 22:33 张叫兽的技术研究院 阅读(239) 评论(0) 推荐(0) 编辑
HUE，大数据的SQL Shell
摘要：
1. HUE需要安装SASL 发现异常： Could not install table: Error creating table sample_07: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mecha 阅读全文
posted @ 2017-11-19 22:28 张叫兽的技术研究院 阅读(700) 评论(0) 推荐(0) 编辑
spark减少提交jar包处理
摘要：
spark一个应用，算上依赖一百多兆。每一次都如此，坑。 首先是<packing>jar</packing>这只为打包为jar，在plugin中增加一个assembly插件，这个插件将会生成一个全包（包括用户代码以及全部依赖）细节见文末，配置的打包将会生成一个只有用户代码的jar包。 将全包以及用户 阅读全文
posted @ 2017-11-19 22:19 张叫兽的技术研究院 阅读(1284) 评论(0) 推荐(0) 编辑
maven的配置文件取不同版本
摘要：
1. 两个地方需要配置首先是要定义配置源，dev/test/prod对应的配置源需要指定；这是灵活的，可变的；其次要定义配置文件，该配置文件里面的内容采用占位符的方式来编制，在编译打包的过程中要动态根据配置源来进行填充。2. 定义配置分类对于第一个地方，配置分类，是要在maven的pom文件中的<p 阅读全文
posted @ 2017-11-19 16:58 张叫兽的技术研究院 阅读(426) 评论(0) 推荐(0) 编辑
kudu安装以及kudu的坑
摘要：
本文描述的是kudu在cloudera的安装。 首先cloudera 5.11.1版本尽管可以直接在add Services中看到kudu，但是其实并没有集成parcels，而且也不想kafka提示需要安装parcel；我是问了磊子小哥才知道需要手动安装parcels； 其实手动安装parcels很 阅读全文
posted @ 2017-11-19 16:42 张叫兽的技术研究院 阅读(449) 评论(0) 推荐(0) 编辑
数据分析的最终目的
摘要：
数据分析的最终目的是什么，是预测未来，预测的基准是什么模型，历史数据的用途就是形成模型，形成的过程就是数据建模 阅读全文
posted @ 2017-11-19 15:28 张叫兽的技术研究院 阅读(310) 评论(0) 推荐(0) 编辑
dcos的问题汇总
摘要：
. group 'docker' does not exist 需要手工创建docker组，这一步本来应该是在安装docker的时候来完成的，但是采用yum install的方式不行，需要添加一个docker的repo然后才能够安装。 2. ssh: connect to host 10.1.108 阅读全文
posted @ 2017-11-19 15:26 张叫兽的技术研究院 阅读(2660) 评论(0) 推荐(1) 编辑
卸载DCOS
摘要：
再次安装，已经是隔了两天，我打算换一台机器作为boot机器，但是发现报错，告知部署设备已经安装了dcos；看来需要卸载：uninstall-master.sh uninstall-agent.sh 这里记录一下，因为rm -rf 后面没有加绝对路径（直接写的文件名字），而导致dcos.target以 阅读全文
posted @ 2017-11-19 15:11 张叫兽的技术研究院 阅读(1054) 评论(1) 推荐(1) 编辑
安装DCOS，关于docker异常引发的调查
摘要：
入门DCOS，刚开始安装，碰到了一个异常： Bind for 0.0.0.0:9000 failed: port is already allocated. 调试这个问题花费了好长时间，因为无法通过netstat以及lsof看到究竟是什么应用占用了程序；后来我才发现原来是因为docker的原因；如果 阅读全文
posted @ 2017-11-19 15:09 张叫兽的技术研究院 阅读(7091) 评论(0) 推荐(0) 编辑
