上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 29 下一页
  2017年8月13日
摘要: 开发环境和服务器环境访问路径不同问题 阅读全文
posted @ 2017-08-13 11:08 Flink菜鸟 阅读(685) 评论(0) 推荐(0) 编辑
  2017年8月1日
摘要: Settings->Build,Execution,Deployment->Compiler->Java Compiler,右边的详情列表中,Javac Options有设置参数的地方:Additional command line parameters,输入-encoding utf-8 即可 作 阅读全文
posted @ 2017-08-01 15:06 Flink菜鸟 阅读(2431) 评论(0) 推荐(0) 编辑
  2017年7月29日
摘要: 接上篇读HDFS 上面读完了HDFS,当然还有写了。 先上代码: WriteHBase HBaseConfig(z这个必须,不然会卡在table.put 上面,没有报错,就是卡) 注: hbase的配置文件很重要,如果读不到 “hbase.zookeeper.quorum” 会默认到 localho 阅读全文
posted @ 2017-07-29 15:16 Flink菜鸟 阅读(3066) 评论(0) 推荐(0) 编辑
摘要: 最近有个需求,计算用户画像。 系统大概有800W的用户量,算每个用户的一些数据。 数据量比较大,算用hive还是毫无压力的,但是写的oracle,在给出数据给前端,就比较难受了。 然后换了种解决方法: 1.hive计算,写的HDFS 2.API读出来,写到hbase(hdfs和hbase的版本不匹配 阅读全文
posted @ 2017-07-29 14:59 Flink菜鸟 阅读(7299) 评论(0) 推荐(0) 编辑
  2017年7月28日
摘要: 最近写个从HDFS读数据,写到hbase的API。 加载配置文件的时候,遇到点麻烦。 目测,最少有三套配置文件: 1.本机的hadoop和hbase 2.家里(公司)服务器的hadoop和hbase 3.现网服务器的hadoop和hbase 在三套环境中,大多配置是一样的,就是IP没办法通用。 ha 阅读全文
posted @ 2017-07-28 10:54 Flink菜鸟 阅读(1405) 评论(0) 推荐(0) 编辑
  2017年7月22日
摘要: 解决方案: 1、jdk7+老版5.0驱动com/mysql/jdbc/Driver 2、jdk8+新版6.0驱动com/mysql/cj/jdbc/Driver 阅读全文
posted @ 2017-07-22 16:20 Flink菜鸟 阅读(1834) 评论(0) 推荐(0) 编辑
  2017年7月21日
摘要: 分区表的所有分区相当于一个单独的表。 创建在分区表上的索引,就相当于在所有分区上单独创建的索引(主键索引除外)。 重建分区表的索引回报: ORA-14086:不能将分区索引作为整体重建。 so,重建语音必须指定分区。 当然,主键索引可以直接重建。 不过,如果你想简单残暴一点。 可以直接把索引删掉,重 阅读全文
posted @ 2017-07-21 16:13 Flink菜鸟 阅读(10323) 评论(1) 推荐(1) 编辑
摘要: 最近由于数据库的全备出问题了,所以一直在观察。 刚好发现很多不需要的数据,就删了几百个G的数据吧。 今天突然就报这个问题。 索引处于不可用状态。 重建索引 OK 阅读全文
posted @ 2017-07-21 14:59 Flink菜鸟 阅读(786) 评论(0) 推荐(0) 编辑
  2017年7月18日
摘要: 刚从生产环境导了一个大表到测试环境,迫不及待的要好好玩弄一下。 1.coun(1) 条数: 567979280 时间:4:47 2.count 索引字段 条数: 567979280 时间:1:33 3.count 复合索引第一个字段 条数: 567979280 时间:1:39 4.count 复合索 阅读全文
posted @ 2017-07-18 12:03 Flink菜鸟 阅读(769) 评论(0) 推荐(0) 编辑
  2017年7月7日
摘要: #!/bin/bash for i in {26..31} do if [ ${i} -lt 10 ];then j=2017040"${i}" else j=201704"${i}" fi echo $j >> venn.log echo 'date -d' >> venn.lo... 阅读全文
posted @ 2017-07-07 19:32 Flink菜鸟 阅读(232) 评论(0) 推荐(0) 编辑
上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 29 下一页