摘要:
#!/bin/bash #FTP数据采集脚本 T=`date -d yesterday +%Y%m%d`//获取昨天的日期,格式20220107 #T=`date -d +%Y%m%d`//获取今天的日期 #T=`date -d '1 day ago ' +%Y%m%d`//获取昨天的日期 #T=` 阅读全文
摘要:
1. scp(secure copy)安全拷贝 (1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝 阅读全文
摘要:
案例: Select tmp.username,date,sum(tmp.su) over(partition by tmp.username order by tmp.date ) totle From ( Select username,sum(cost_money) su,date From 阅读全文
摘要:
题目1: 有如下数据: A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-03,20 字段说明: username: 姓名 date : 日期 cost_money : 消费金额 需求: 阅读全文
摘要:
hive > set hive.exec.dynamic.partition.mode=nonstrict;--设置hive执行器的动态分区(dynamic partition)模式为非严格模式(nonstrict) set hive.input.format=org.apache.hadoop.h 阅读全文
摘要:
目标: 首先分发hive文件到各个节点: scp -r apache-hive/ root@node7-2:`pwd` l 服务器端:conf/hive-site.xml: 1 <?xml version="1.0"?> 2 <?xml-stylesheet type="text/xsl" href 阅读全文
摘要:
[root@node7-3 sqoop1]# bin/sqoop list-databases --connect 'jdbc:mysql://192.168.56.1:3306/ ?useSSL=false&serverTimezone=GMT%2B8&allowMultiQueries=true 阅读全文
摘要:
1 <properties> 2 <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> 3 <hive.version>3.1.2</hive.version> 4 </properties> 5 <repositorie 阅读全文
摘要:
这里使用的的mysql版本是5.7.30,本身没有my.cnf文件!!!!! 一、安装前的检查 1.1 检查 linux 系统版本 [root@localhost ~]# cat /etc/system-release 说明:小生的版本为 linux 64位:CentOS Linux release 阅读全文