python 读取hive数据
摘要：
话不多说，直接上代码 部署时遇到一个问题： 解决方法是： 原因是某些包没有关联上，装包时，加上[hive]后缀 阅读全文
posted @ 2019-03-31 16:44 dairui130 阅读(7892) 评论(1) 推荐(0) 编辑
2019年3月31日 #
2019年3月27日 #
shell 命令 查看本机ip
摘要：
结果有很多，查看env0的inet，就是本机的ip地址 阅读全文
posted @ 2019-03-27 15:07 dairui130 阅读(454) 评论(0) 推荐(0) 编辑
shell 命令 修改hosts文件
摘要：
hosts文件管理http地址和物理ip地址的映射关系。 开发spring cloud 项目时，遇到不能连接服务器部署的zk问题。 排查后发现，是本地的hosts文件没有添加这台机器的ip映射关系。 添加的方法如下： 可以看到所有的映射关系， 另起一行，添加映射，注意ip和http地址之间用tab隔 阅读全文
posted @ 2019-03-27 15:00 dairui130 阅读(1452) 评论(1) 推荐(0) 编辑
shell 命令 mkdir -p
摘要：
开发中我们会遇到嵌套创建文件目录的需要，这时需要用到 mkdir -p 比如我要在本地嵌套创建 /Users/dairui/Downloads/zookeeper/dataLogDir目录 直接使用 会报错，缺少zookeeper文件。 这时加上 -p参数 就可以嵌套创建了。创建好后，记得修改目录的 阅读全文
posted @ 2019-03-27 14:44 dairui130 阅读(1052) 评论(0) 推荐(0) 编辑
2019年3月26日 #
kettle学习
摘要：
https://www.cnblogs.com/zxbzl/p/5853035.html 阅读全文
posted @ 2019-03-26 15:20 dairui130 阅读(78) 评论(0) 推荐(0) 编辑
调用azkaban接口，upload 本地zip文件
摘要：
使用azkaban部署任务，可以将job文件打成zip包，通过web页面上传。 如图 但是当我们实践CI持续化部署的时候，要实现自动的部署上线。 这时就要调用azkaban提供的api。 地址如下：https://azkaban.github.io/azkaban/docs/latest/#ajax 阅读全文
posted @ 2019-03-26 10:13 dairui130 阅读(866) 评论(0) 推荐(0) 编辑
2019年3月25日 #
shell 命令 ls -a
摘要：
接手其他人的shell脚本时，遇到了一个"."开头的文件目录， 始终找不到。 咨询了一下，才知道，"."开头的是隐藏文件。 这时候用 就可以显示全部的文件了。 阅读全文
posted @ 2019-03-25 16:37 dairui130 阅读(651) 评论(0) 推荐(0) 编辑
Gitlab 赋予某台机器git clone的权限 Deploy key
摘要：
开发项目CI（持续化部署）的时候，需要赋予jeckins所在的机器从gitlab远程仓库克隆代码到本地的权限。 之前我们基本都是通过管理gitlab某个项目的成员的方式，管理gitlab的权限。 但是gitlab还支持另一种方式，赋予git clone的权限，就是配置Deploy key。 Depl 阅读全文
posted @ 2019-03-25 16:16 dairui130 阅读(3952) 评论(0) 推荐(0) 编辑
2019年3月21日 #
kettle学习
摘要：
数据etl工具，主要用做数据采集和清洗 待续。。。 阅读全文
posted @ 2019-03-21 14:55 dairui130 阅读(99) 评论(0) 推荐(0) 编辑
CI、CD和dev-ops概念
摘要：
传统的开发方式是：需求方提供文档，实现方按照文档一步步开发，中间很少变动和修改。 但是随着市场的变化，产品更新迭代的加快，也要求开放方更快的响应变化，用最短的时间开发，部署上线。 这样，持续集成(CI coutinuous integration)，持续部署(continuous delivery) 阅读全文
posted @ 2019-03-21 13:40 dairui130 阅读(865) 评论(0) 推荐(0) 编辑