crontab设置定时任务
摘要：crontab用于配置定时任务，主要参数是： -e：编辑当前用户的定时任务 -r：删除当前用户的定时任务 -l：列出当前用户的定时任务 其一般格式是： * * * * * shell_command # 第一个*号表示分钟：范围在0-59 # 第二个*号表示小时：0-23 # 第三个*号表示一个月的
阅读全文
posted @ 2020-08-30 23:15
08 2020 档案
linux使用shell脚本定时执行python代码
摘要：在linux上设置定时任务或者使用shell脚本都可以执行python代码；其中定时任务的设置在命令 crontab -e 中可以查看和设置。 假设目前有一个python脚本： import numpy as np print(' ') aa = [[1,2,3],[4,5,6]] print('a
阅读全文
posted @ 2020-08-30 22:05
hive的lateral view explode 功能
摘要：最近遇到一个神奇的hive功能：lateral view explode，感觉与Mysql中的group concat相反，将原本在一起的数据拆分成多行形成虚拟表，再与原表进行笛卡尔积。 一般模式：select column_A,column_B,tmp_table.tmp_column from
阅读全文
posted @ 2020-08-30 00:17
hive中实现group_concat
摘要：mysql中的group_concat分组连接功能相当强大，可以先分组再连接成字符串，还可以进行排序连接。但是hive中并没有这个函数，那么hive中怎么实现这个功能呢？ 这里要用到：concat_ws函数和collect_list、collect_set 函数。 1. 建立测试表（无分区表）： c
阅读全文
posted @ 2020-08-29 23:16
Git 相关命令
摘要：Git 版本控制系统是一个分布式的系统（与SVN不一样），可用于保存工程源代码及其历史状态的命令行工具。 Git下载地址：https://git-scm.com/downloads，安装之后，windows系统中会出现： 点击打开 Git Bash，出现： 这是属于命令行模式的界面，而Git GUI
阅读全文
posted @ 2020-08-24 00:15
