随笔分类 -  hadoop

摘要：原始sql的写法如下，可以跑成功但是跑了40分钟。 select user_id, site_id, cc_id from tbl_1 left join tbl_2 on tbl_1.id = tbl_2.id; 查看job details, 发现其中一个stage跑了40分钟，但是这个stage 阅读全文

摘要：We can change replica from 3 to 2 after the data is deprecated, to save storage. 1.在hadoop的hdfs中，查看文件或者目录的hdfs副本数量，可以使用如下命令 hdfs dfs -stat '%r' /path/ 阅读全文

摘要：解释： hdfs dfs -mkdir 是Hadoop命令行中用于创建目录的命令。 -p 参数告诉 mkdir 命令创建所有不存在的父目录。 阅读全文