摘要：
explode称之为Hive爆炸函数，意思就是将一行数据炸开。Usage:explode(array/map) explode函数传递的参数必须是一个array或者是map hivescala> spark.sql("select explode(split('41,52,62,35&98','[, 阅读全文
posted @ 2021-07-06 15:39 打杂滴 阅读(296) 评论(0) 推荐(0)
2021年7月6日
摘要：
随机生成100以内的整数 select top 10 number,ceiling(rand(checksum(newid()))*100) from master.dbo.spt_valueswhere type='p' 阅读全文
posted @ 2021-07-06 14:31 打杂滴 阅读(209) 评论(0) 推荐(0)
摘要：
mysql> SELECT a.user, @i:=@i+1 as id FROM user a,(SELECT @i:=0) b; + + +| user | id |+ + +| hive | 1 || root | 2 || mysql.infoschema | 3 || mysql.sess 阅读全文
posted @ 2021-07-06 14:22 打杂滴 阅读(639) 评论(0) 推荐(0)
2021年7月1日
摘要：
import org.apache.spark.graphx._import org.apache.spark.rdd.RDDval vertexArray = Array( (1L, ("Alice", 28)), (2L, ("Bob", 27)), (3L, ("Charlie", 65)), 阅读全文
posted @ 2021-07-01 15:13 打杂滴 阅读(203) 评论(0) 推荐(0)
2021年5月24日
摘要：
1.新建Maven工程 2.输入groupid,artfactid 3. Maven里面已经配置了java文件夹与test文件夹 4.在main文件夹下创建scala文件夹， 并将scala文件夹标记为sources root 5.file==>project structure==>librari 阅读全文
posted @ 2021-05-24 11:18 打杂滴 阅读(673) 评论(0) 推荐(0)
2021年4月29日
摘要：
下载 wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.1-linux-x86_64.tar.gz 解压 tar -zxvf kibana-7.12.1-linux-x86_64.tar.gz -C /opt/module/ 阅读全文
posted @ 2021-04-29 18:02 打杂滴 阅读(78) 评论(0) 推荐(0)
2021年4月27日
摘要：
下载 wget https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz 解压 tar -vxf spark-3.1.1-bin-hadoop2.7.tgz -C /opt/module/ 配 阅读全文
posted @ 2021-04-27 14:44 打杂滴 阅读(1733) 评论(0) 推荐(0)
2021年4月26日
摘要：
备份数据库 [datalink@slave4 mysqlbak]$ mysqldump -uhive -ppassword testdb>/home/datalink/mysqlbak/testdb.sqlmysqldump: [Warning] Using a password on the co 阅读全文
posted @ 2021-04-26 15:49 打杂滴 阅读(55) 评论(0) 推荐(0)
2021年4月21日
摘要：
1.将hive目录下面的jdbc的jar包 复制这个jar文件到Kettle的lib目录下E:\kettle7.0\data-integration\lib [datalink@slave3 jdbc]$ sz hive-jdbc-3.1.2-standalone.jar rz zmodem trl 阅读全文
posted @ 2021-04-21 17:08 打杂滴 阅读(2280) 评论(0) 推荐(0)
2021年4月19日
摘要：
Error: Java heap space 解决 set io.sort.mb=10; 默认值是100，问题轻松解决 阅读全文
posted @ 2021-04-19 13:54 打杂滴 阅读(90) 评论(0) 推荐(0)
浙公网安备 33010602011771号