上一页 1 ··· 3 4 5 6 7
摘要: rpyc可以很方便实现远程方法调用, 而plumbum则可以实现在python中类似shell的方式编码: 具体实现代码如下: Server.py Client.py 将echo.sh脚本放在/data/local/test路径下,先远程启动Server.py,然后执行Client.py即可远程调用 阅读全文
posted @ 2018-06-25 22:26 堕落门徒 阅读(565) 评论(0) 推荐(0) 编辑
摘要: 首先下载linux上anaconda的安装包: 然后赋权并执行安装程序: 安装过程如下: Do you accept the license terms? [yes|no]>>> yes Anaconda3 will now be installed into this location:/home 阅读全文
posted @ 2018-06-25 22:20 堕落门徒 阅读(40100) 评论(0) 推荐(0) 编辑
摘要: 主要结构为: python进程发布消息,java进程订阅消息。 依赖环境: python: pip install redis java: jedis 1. python端: PubSub.py sub.py 2. java端 RedisPub.java 参考链接: http://www.cnblo 阅读全文
posted @ 2018-06-25 22:18 堕落门徒 阅读(2378) 评论(0) 推荐(0) 编辑
摘要: airflow整合环境搭建 1. 整体结构 mysql 后端数据库 redis 用于broker CeleryExecutor 执行器 2. 环境安装 2.1,安装python anaconda环境 2.2,安装mysql相关依赖 2.3,安装airflow相关模块 2.4,安装mysql 2.5, 阅读全文
posted @ 2018-06-25 22:11 堕落门徒 阅读(7042) 评论(4) 推荐(1) 编辑
摘要: ​ 在airflow中使用的时间是utc时间,而更多时候我们希望的是使用本地时间,于是在定义airflow定时任务的时候,涉及到了时间的转换。 1.python中本地时间和utc时间的转换 查看国内可用时区: 方式一: 修改配置文件 使用操作系统时间 方式二: 参考链接: "https://stac 阅读全文
posted @ 2018-06-25 21:52 堕落门徒 阅读(6805) 评论(0) 推荐(1) 编辑
摘要: 有时候在初始化shell脚本中希望能顺便创建用户并指定密码,使用useradd命令可以达到该效果: 参数说明: m : 自动建立用户的登入目录; p encryptedPassword : 加密后的密码, 方法crypt()的返回值. username 需要添加的用户名 怎么生成一个加密密码: 使用 阅读全文
posted @ 2018-06-25 21:50 堕落门徒 阅读(14993) 评论(0) 推荐(1) 编辑
摘要: shell中sh, exec, source, fork, ./的区别 1,sh ​ sh是通过创建子进程(subshell)去执行脚本,父进程无法使用子进程中的变量,而子进程对环境变量的修改也不会影响到父进程。父进程中的局部变量子进程也无法使用,子进程会继承父进程的环境变量; ​ 脚本不需要执行权 阅读全文
posted @ 2018-06-25 21:49 堕落门徒 阅读(3949) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7