02 2019 档案
摘要：工作中需求：每天早上定时将数据查询出来只作为excel上传至远程服务器 配置spring的xml文件 客户端上传文件值一个url接口的方法 从Dao层借口返回的list集合数据形成excel
阅读全文
摘要：AuditorDimensionKey.class, Text.class, job, false);
阅读全文
摘要：# list学习 """ """ """ # 1.中括号[]表示 里面可以是任意数据类型元组，列表 li=[1,2,4,990,2.9,"sssss",["sss","aaa"],(1,2)] # 索引取值 print(li[3]) #2. 切片从1至3 从1至倒数第三个 print(li[1:3]) print(li[1:-3]) # 3.循环取值 for l in li : pr...
阅读全文
摘要：hive的复合数据类型如何取值： Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个grou
阅读全文
摘要：object SaprkReadHbase { var total:Int = 0 def main(args: Array[String]) { val spark = SparkSession .builder() .master("local[2]") .appName("Spark Read Hbase ") ...
阅读全文
摘要： 1）外部数据源 val distFile1 = sc.textFile("data.txt") //本地当前目录下文件 val distFile2 =sc.textFile("hdfs://192.168.121.12:8020/input/data.txt") //HDFS文件 val dis
阅读全文
摘要：storm的基本概念别人总结的， https://blog.csdn.net/pickinfo/article/details/50488226 编程模型最关键最难就是实现局部聚合的业务逻辑聚合类实现Aggregator接口重写方法aggregate，聚合使用存储中间聚合过程状态的类，本地hashmap的去重逻辑还有加入redis后进行的一些去重操作，数据的持久（判断三天内的带播控量） pub...
阅读全文
摘要：结果如下
阅读全文
摘要：mapreducer编程模型是一种八股文的代码逻辑，就以用户行为分析求流存率的作为例子 1.map端来说:必须继承hadoop规定好的mapper类：在读取hbase数据时，已经有现成的接口 TableMapper，只需要规定输出的key和value的类型 public class LoseUserMapper extends TableMapper { //////////省去代码在执行...
阅读全文
摘要：# 字符串学习第二天 # 1.练习len与range for的使用 test=input("请输入") l=len(test) for i in range(0,l): print(i,test[i]) # 2 进行断句含有\t制表符的直接用空格补全 test1="ssiisiis\tiscnnii".expandtabs(6) print(test1) # 3 isalpha方...
阅读全文
摘要：
阅读全文
摘要：1.连接数据源很多选项：hive mysql Oracle 等所有数据库 2.写上hive2的那个客户端连接，下边会显示出让我装连接的驱动 ，所有jdbc都需要这样 点进去找到windows的下载一键安装即可，后续连接数据可以看到表 使用一个openStree的图层
阅读全文
