随笔分类 -  Hadoop

hive 内部表和外部表总结
摘要：1. 外部表（external table） 有external修饰，表数据保存在HDFS上，该位置由用户指定。删除表时，只会删除表的元数据，所以外部表不是有Hive完全管理的 2. 内部表(internal table/managed table) 没有external修饰，表数据保存在Hive默 阅读全文
posted @ 2020-07-24 14:49 静悟生慧 阅读(875) 评论(0) 推荐(0) 编辑
hadoop 查看目录下总的大小
摘要：1、数据迁移过程中，验证数据拷贝后大小是否一致； shell命令： hadoop fs -count -q 目录 ps： 查看目录下总的大小 dfs -count -q 目录 ps：一样的 hadoop fs -du 目录 ps：查看目录下每个子目录的大小 2、随机森林和GBDT的区别 https: 阅读全文
posted @ 2020-07-22 16:05 静悟生慧 阅读(1845) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示