摘要: 基于JavaAPI对hdfs的操作 通过Java API来访问HDFS,首先介绍HDFS中的文件操作主要涉及的几个类。 ·Configuration类:该类的对象封装了客户端或者服务器的配置。 ·FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法对文件进行操作。FileSy 阅读全文
posted @ 2020-09-22 22:45 nohert 阅读(222) 评论(0) 推荐(0) 编辑
摘要: 文件路径 1.1. 绝对路径 以根目录或某盘符开头的路径(或者说完整的路径) 例如: l c:/a.txt (Windows操作系统中) l c:/xxx/a.txt (Windows操作系统中) l /var/xx/aa.txt (Linux操作系统中) 绝对路径的问题: 比如C:\abc\a.p 阅读全文
posted @ 2020-09-22 02:42 nohert 阅读(1219) 评论(0) 推荐(0) 编辑
摘要: Properties类与配置文件 1.1 Properties配置文件说明 Properties类对应.properties文件。文件内容是键值对,键值对之间使用"="或空格隔开。开头是"#"的表示注释 Properties类在加载.properties文件时使用的iso8859-1的编码。所以这个 阅读全文
posted @ 2020-09-22 02:41 nohert 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 1 为什么要学内省? 开发框架时,经常需要使用java对象的属性来封装程序的数据,每次都使用反射技术完成此类操作过于麻烦,所以sun公司开发了一套API,专门用于操作java对象的属性。 内省是用于操作java对象的属性的,那么以下问题我们必须要清楚。 问题一: 什么是Java对象的属性和属性的读写 阅读全文
posted @ 2020-09-22 02:38 nohert 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Junit单元测试 1.1. Junit单元测试框架的基本使用 一、搭建环境: 导入junit.jar包(junit4) 二、写测试类: 0,一般一个类对应一个测试类。 1,测试类与被测试类最好是放到同一个包中(可以是不同的源文件夹) 2,测试类的名字为被测试类的名字加Test后缀。 三:写测试方法 阅读全文
posted @ 2020-09-22 02:34 nohert 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 查看帮助 hdfs dfs -help 对文件的操作 HDFS的命令都在Hadoop的bin目录下,如果已经设置好Hadoop的环境变量,可以直接输入HDFS命令行,常见的相关命令如下。 1.列出HDFS下的文件 注意:区分大小写 2.上传文件 注意:上传文件的时间 -p时保留原时间 3.文件被复制 阅读全文
posted @ 2020-09-22 02:00 nohert 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 参考官网: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是s 阅读全文
posted @ 2020-09-22 01:16 nohert 阅读(241) 评论(0) 推荐(0) 编辑