2018年12月8日

摘要: 窗口函数 功能强大 ,用来排名 极为方便 三种 rank()计算排序时,如果存在相同位次的记录,则会跳过之后的位次。 dense_rank()同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次 row_number()赋予唯一的连续位次。 格式 <rank/dense_rank/row_n 阅读全文
posted @ 2018-12-08 12:58 #同少年 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 什么是代理 就是在不改变原来代码的前提下 为原来的代码增加新的功能 作用解耦 增加可维护性 动态代理和静态代理的区别 动态代理不用频繁的创建代理类 减小消耗 提高性能 动态代理代理的类是活的(可变的) 静态代理是死的(不可变的) 先写静态代理 先死后活,死去活来 首先创建接口 代理类 打印结果 之前 阅读全文
posted @ 2018-12-08 11:19 #同少年 阅读(154) 评论(0) 推荐(0) 编辑

2018年11月27日

摘要: 首先说明遇到的坑 要在phoenxi中建表 , 只有在Phoenix中建表才鞥映射到hbase ,因为spark是通过Phoenix的jdbc 插入数据的 不是吧数据放进hbase而是把数据放进Phoenix 所以在hbase中建表是找不到的 我是通过sparksql插入的 sparksql是dat 阅读全文
posted @ 2018-11-27 22:54 #同少年 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 当把sparksql结果存进mysql是如果表不存在sparksql会直接建表并且sql里数据和sparksql数据结构不相同所以会导致数据错误如果数据库里存在该表会报错 所以可以用mode追加.write.mode(SaveMode.Append).jdbc(url,"tablename",pro 阅读全文
posted @ 2018-11-27 10:43 #同少年 阅读(421) 评论(0) 推荐(0) 编辑

2018年11月26日

摘要: 首先 使用scala 写的 创建模式类 确定scheme e盘文件 q 1 1.1q 3 2.1f 4 44.1 阅读全文
posted @ 2018-11-26 17:32 #同少年 阅读(170) 评论(0) 推荐(0) 编辑

2018年11月24日

摘要: 一个简单的任务调度 首先要写一个脚本world.sh 目的是为了验证 #!、bin/bash echo "hello world' >> tt.txt wq 退出保存 然后更改权限 chomd 755 world.sh 智游更改权限 sh才能变成可执行脚本 然后安装crontab服务 linux应该 阅读全文
posted @ 2018-11-24 11:37 #同少年 阅读(507) 评论(0) 推荐(0) 编辑

2018年11月20日

摘要: Ssm 新建maven项目,选择使用 maven-webapp模板创建 创建完成后,右键=》build path=》config build path=》修改jdk 修改web.xml的头,改成3.0的版本,默认2.3不自动支持el表达式: <?xml version="1.0" encoding= 阅读全文
posted @ 2018-11-20 22:18 #同少年 阅读(886) 评论(0) 推荐(0) 编辑
摘要: c踩坑 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic HelloWorld 将localhost必须和PLAINTEXT配置的地址保持一致,否则的话会无限警告不能接收数据 生产者; bin/kafka- 阅读全文
posted @ 2018-11-20 22:04 #同少年 阅读(258) 评论(0) 推荐(0) 编辑

2018年11月19日

摘要: 一.要使用kafka首先要配置启动好zookeeper 1.在zookeeper的conf目录里 执行: cp zoo_sample.cfg zoo.cfg 2.打开zoo.cfg的文件 命 令 :vi zoo.cfg dataDir=/tmp/zookeeper (虽然给出这个路径给你,但是系统并 阅读全文
posted @ 2018-11-19 19:27 #同少年 阅读(243) 评论(0) 推荐(0) 编辑

导航