摘要: 提交作业 ①程序打成jar包,在客户端运行hadoop jar命令,提交job到集群运行 job.waitForCompletion(true)中调用Job的submit(),此方法中调用JobSubmitter的submitJobInternal()方法; ②submitClient.getNew 阅读全文
posted @ 2021-12-02 23:15 unknowspeople 阅读(49) 评论(0) 推荐(0) 编辑
摘要: HDFS的常用命令操作1、基本语法2、常用命令操作#######################1、基本语法bin/hadoop fs 具体命令或bin/hdfs dfs 具体命令(dfs是fs的实现类) 二者区别 hadoop fs:可以作用于除hdfs外的其他文件系统,作用范围更广。通用的文件系 阅读全文
posted @ 2021-12-02 23:14 unknowspeople 阅读(463) 评论(0) 推荐(0) 编辑
摘要: 前言 HDFS 是一个能够面向大规模数据使用的,可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。即使系统中有某些节点脱机,整体来说系统仍然可以持 阅读全文
posted @ 2021-12-02 22:21 unknowspeople 阅读(149) 评论(0) 推荐(0) 编辑