03 2025 档案
摘要：from_unixtime(cast(lastupdatetime/1000+8*60*60 as bigint)) 需要加8个小时，建议hive时区改成上海时区
阅读全文
摘要：1、通过垃圾箱恢复 HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hadoop fs -rm -r xxx 命令之后，文件并不是马上被删除，而是会被移动到执行这个操作用户的 .Trash 目录下（一般垃圾回收站的路径是HDFS上的 /user/用户名/.Trash/），等到一定的时间后才会执
阅读全文
摘要：解决HDFS磁盘满的问题可以通过以下几种方法： 1、删除不必要的文件：查看HDFS中哪些文件占用了大量空间，删除不需要的文件或者将其移动到本地存储中。可以使用hadoop dfs -du -h /命令来查看各文件及目录的空间使用情况，然后使用hadoop dfs -rm -r命令删除指定的文
阅读全文
摘要：1、查看hdfs-size.xml文件 获取数据目录位置 vim /opt/hadoop/etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop-data/data-node
阅读全文
摘要：假设运行命令 hdfs dfs -du -h /user/hive/warehouse/ods_all.db，输出结果为： 212.5 G 637.4 G /user/hive/warehouse/ods_all.db 212.5 G：表示该目录下所有文件的大小总和，约为212.5GB。637
阅读全文
