摘要: 首先要在windows下解压一个windows版本的hadoop 然后在配置他的环境变量,同时要把hadoop的share目录下的hadoop下的相关jar包拷贝到esclipe 然后Build Path 下面上代码 练习:从一个文件里面不断地采集日志上传到hdfs里面 1.流程介绍 启动一个定时任 阅读全文
posted @ 2019-07-23 17:52 踩在浪花上 阅读(585) 评论(0) 推荐(0) 编辑
摘要: hdfs:分布式文件系统 有目录结构,顶层目录是: /,存的是文件,把文件存入hdfs后,会把这个文件进行切块并且进行备份,切块大小和备份的数量有客户决定。 存文件的叫datanode,记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 阅读全文
posted @ 2019-07-23 12:03 踩在浪花上 阅读(902) 评论(0) 推荐(0) 编辑