06 2020 档案
摘要：写流程 1.HDFS Client调用DistributedFileSystem.create(filePath)方法，去和NN进行【RPC】通信！2.NN 会去check这个路径的文件是否已经存在，是否有权限能够创建这个文件！假如都ok，就去创建一个新的文件，但是这时还没写数据，是不关联任何的bl
阅读全文
摘要：1.系统常用检查命令 1 磁盘 df -h 2 内存 free -m 3 负载 top 4 5 [hadoop@bigdata ~]$ free -m 6 total used free shared buff/cache available 7 Mem: 7823 222 6229 257 137
阅读全文
摘要：转载：http://www.embeddedlinux.org.cn/html/xinshourumen/201211/25-2401.html 嵌入式Linux中文站消息，Linux系统的Swap分区，即交换区，Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部
阅读全文
摘要：1.用户 用户组 1 [root@bigdata ~]# ll /usr/sbin/user* 2 -rwxr-x 1 root root 118192 Nov 6 2016 /usr/sbin/useradd 3 -rwxr-x 1 root root 80360 Nov 6 2016 /usr/
阅读全文
摘要：1.清除屏幕clear 2.mv移动 cp复制 1 mv是始终一份 快 2 cp是两份 慢 3 4 不标准写法: 5 mv dir1 bigdata 6 cp -r dir2 bigdata 7 8 标准写法: 9 mv dir1 bigdata/dir1 10 cp -r dir2 bigdata
阅读全文
摘要：转载自： https://segmentfault.com/a/1190000017393602 MySQL 中常用的两种时间储存类型分别是datetime和 timestamp。如何在它们之间选择是建表时必要的考虑。下面就谈谈他们的区别和怎么选择。 1 区别 1.1 占用空间 类型占据字节表示形式
阅读全文
摘要：1. [root@node1 ~]# root 默认管理员 最大权限 node1 机器名称 ~ 当前该用户的 家目录 /root 2.pwd 查看当前光标所在的目录 路径 [root@node1 ~]# pwd /root 3.ls 查看 ls 显示文件夹 文件名称 ls -l 显示额外信息 权限
阅读全文
摘要：在cdh执行任务时，发现资源严重不足，但同时又没跑着其他大型任务 先通过top命令 ，再按M查看 发现这种进程（cdh的监控采集进程）占据了大量资源，再查看其的父pid发现是系统1号进程，所以判断可能是异常宕机等导致了这些进程未关闭由系统1号进程接管，但已经无法正常工作，也未正常关闭，占用着大量资源
阅读全文
摘要：在启动hadoop集群和zookeeper集群后，再启动hbase HMaster和hregionServer都正常启动 但是hbase web显示 HRegionServer 无法连接到 HMaster 查看hbase的HRegionServer日志发现 1 client.ZooKeeperReg
阅读全文
摘要：kylin版本：2.2.0 kylin正常按照日期做每日增量时 例如跑2020-06-14到2020-06-15数据的增量 1 python /ddhome/usr/kylin_client_tool/kylin_client_tool.py -P jkd -M BUILD -C radacct_t
阅读全文
摘要：使用java 的PO实现将从数据库查询的结果，导入到excel文件，并返回到页面下载链接。 依赖： 1 <dependency> 2 <groupId>org.apache.poi</groupId> 3 <artifactId>poi</artifactId> 4 <version>3.15</v
阅读全文