上一页 1 2 3 4 5 6 7 8 ··· 10 下一页
摘要: 转载自: https://segmentfault.com/a/1190000017393602 MySQL 中常用的两种时间储存类型分别是datetime和 timestamp。如何在它们之间选择是建表时必要的考虑。下面就谈谈他们的区别和怎么选择。 1 区别 1.1 占用空间 类型占据字节表示形式 阅读全文
posted @ 2020-06-22 10:33 夏天换上冬装 阅读(954) 评论(0) 推荐(0) 编辑
摘要: 1. [root@node1 ~]# root 默认管理员 最大权限 node1 机器名称 ~ 当前该用户的 家目录 /root 2.pwd 查看当前光标所在的目录 路径 [root@node1 ~]# pwd /root 3.ls 查看 ls 显示文件夹 文件名称 ls -l 显示额外信息 权限 阅读全文
posted @ 2020-06-19 15:50 夏天换上冬装 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 在cdh执行任务时,发现资源严重不足,但同时又没跑着其他大型任务 先通过top命令 ,再按M查看 发现这种进程(cdh的监控采集进程)占据了大量资源,再查看其的父pid发现是系统1号进程,所以判断可能是异常宕机等导致了这些进程未关闭由系统1号进程接管,但已经无法正常工作,也未正常关闭,占用着大量资源 阅读全文
posted @ 2020-06-18 19:29 夏天换上冬装 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 在启动hadoop集群和zookeeper集群后,再启动hbase HMaster和hregionServer都正常启动 但是hbase web显示 HRegionServer 无法连接到 HMaster 查看hbase的HRegionServer日志发现 1 client.ZooKeeperReg 阅读全文
posted @ 2020-06-17 17:36 夏天换上冬装 阅读(1333) 评论(0) 推荐(0) 编辑
摘要: kylin版本:2.2.0 kylin正常按照日期做每日增量时 例如跑2020-06-14到2020-06-15数据的增量 1 python /ddhome/usr/kylin_client_tool/kylin_client_tool.py -P jkd -M BUILD -C radacct_t 阅读全文
posted @ 2020-06-15 17:51 夏天换上冬装 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 使用java 的PO实现将从数据库查询的结果,导入到excel文件,并返回到页面下载链接。 依赖: 1 <dependency> 2 <groupId>org.apache.poi</groupId> 3 <artifactId>poi</artifactId> 4 <version>3.15</v 阅读全文
posted @ 2020-06-09 16:04 夏天换上冬装 阅读(1359) 评论(0) 推荐(1) 编辑
摘要: 为了将数据仓库设计过程中excel中设计的物理模型高效转换成标准的Hive建表语句,我用 python开发了如下的工具 createDdlSql.py: 功能:实现将excel中的物理模型转换成建表语句文件 输入:当前目录文件名为“数据模型.xls”或“数据模型.xlsx”的excel,模型结尾必须 阅读全文
posted @ 2020-05-30 14:07 夏天换上冬装 阅读(549) 评论(0) 推荐(0) 编辑
摘要: 在实践数据仓库的建设中,越发感受到规范的重要性,总结出以下几点。 模型设计图 阅读全文
posted @ 2020-05-28 20:45 夏天换上冬装 阅读(173) 评论(0) 推荐(1) 编辑
摘要: 环境:win10 +hadoop2.7.1,服务器hadoop2.6.0+spark2.2.1+hive1.1.0 代码: 1 import org.apache.spark.sql.Dataset; 2 import org.apache.spark.sql.Row; 3 import org.a 阅读全文
posted @ 2020-05-25 20:33 夏天换上冬装 阅读(3465) 评论(0) 推荐(0) 编辑
摘要: 从执行结果上看,结果相同,但是mapPartitions的速度比map快了一些。这是为什么呢?我们看下源码 1 /** 2 * Return a new RDD by applying a function to all elements of this RDD. 3 */ 4 def map[U: 阅读全文
posted @ 2020-04-26 10:59 夏天换上冬装 阅读(529) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 10 下一页