上一页 1 2 3 4 5 6 7 8 ··· 12 下一页
摘要: #!/bin/bash #FTP数据采集脚本 T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107 #T=`date -d +%Y%m%d`//获取今天的日期 #T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期 #T=` 阅读全文
posted @ 2022-01-07 11:48 shan_zhayidian 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 1. scp(secure copy)安全拷贝 (1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝 阅读全文
posted @ 2021-12-31 11:35 shan_zhayidian 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 案例: Select tmp.username,date,sum(tmp.su) over(partition by tmp.username order by tmp.date ) totle From ( Select username,sum(cost_money) su,date From 阅读全文
posted @ 2021-03-15 15:34 shan_zhayidian 阅读(4262) 评论(0) 推荐(0) 编辑
摘要: 题目1: 有如下数据: A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-03,20 字段说明: username: 姓名 date : 日期 cost_money : 消费金额 需求: 阅读全文
posted @ 2021-03-13 11:53 shan_zhayidian 阅读(146) 评论(0) 推荐(0) 编辑
摘要: hive > set hive.exec.dynamic.partition.mode=nonstrict;--设置hive执行器的动态分区(dynamic partition)模式为非严格模式(nonstrict) set hive.input.format=org.apache.hadoop.h 阅读全文
posted @ 2021-03-12 22:01 shan_zhayidian 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 目标: 首先分发hive文件到各个节点: scp -r apache-hive/ root@node7-2:`pwd` l 服务器端:conf/hive-site.xml: 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href 阅读全文
posted @ 2021-03-09 21:46 shan_zhayidian 阅读(172) 评论(0) 推荐(0) 编辑
摘要: [root@node7-3 sqoop1]# bin/sqoop list-databases --connect 'jdbc:mysql://192.168.56.1:3306/ ?useSSL=false&serverTimezone=GMT%2B8&allowMultiQueries=true 阅读全文
posted @ 2021-03-09 20:52 shan_zhayidian 阅读(272) 评论(0) 推荐(0) 编辑
摘要: 1 <properties> 2 <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> 3 <hive.version>3.1.2</hive.version> 4 </properties> 5 <repositorie 阅读全文
posted @ 2021-03-09 14:48 shan_zhayidian 阅读(626) 评论(0) 推荐(0) 编辑
摘要: 这里使用的的mysql版本是5.7.30,本身没有my.cnf文件!!!!! 一、安装前的检查 1.1 检查 linux 系统版本 [root@localhost ~]# cat /etc/system-release 说明:小生的版本为 linux 64位:CentOS Linux release 阅读全文
posted @ 2021-03-08 19:18 shan_zhayidian 阅读(269) 评论(0) 推荐(0) 编辑
摘要: Mysql的四种引擎介绍 (1):MyISAM存储引擎不支持事务、也不支持外键,优势是访问速度快,对事务完整性没有 要求或者以select,insert为主的应用基本上可以用这个引擎来创建表 支持3种不同的存储格式,分别是:静态表;动态表;压缩表 静态表:表中的字段都是非变长字段,这样每个记录都是固 阅读全文
posted @ 2021-03-04 16:14 shan_zhayidian 阅读(254) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 12 下一页