12 2014 档案

java实现读取文件大全
摘要：1、按字节读取文件内容2、按字符读取文件内容3、按行读取文件内容4、随机读取文件内容public class ReadFromFile { /** * 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。 */ public static void rea... 阅读全文

posted @ 2014-12-24 11:40 XIAO的博客 阅读(363) 评论(0) 推荐(0) 编辑

spark+hcatalog操作hive表及其数据
摘要：package iie.hadoop.hcatalog.spark; import iie.udps.common.hcatalog.SerHCatInputFormat; import iie.udps.common.hcatalog.SerHCatOutputFormat; import java.io.BufferedReader; import java.io.IOException... 阅读全文

posted @ 2014-12-24 11:21 XIAO的博客 阅读(1593) 评论(2) 推荐(0) 编辑

在hdfs上存取xml文件的实现代码
摘要：要读取的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA default.test1 要存的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA ... 阅读全文

posted @ 2014-12-24 11:13 XIAO的博客 阅读(643) 评论(0) 推荐(0) 编辑

hadoop shell 详解
摘要：概述 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法： Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 GEN 阅读全文

posted @ 2014-12-17 10:07 XIAO的博客 阅读(594) 评论(0) 推荐(0) 编辑

Hive on Spark运行环境搭建
摘要：Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed... 阅读全文

posted @ 2014-12-04 11:10 XIAO的博客 阅读(837) 评论(0) 推荐(0) 编辑

hive数据导入方法
摘要：可以通过多种方式将数据导入hive表1.通过外部表导入用户在hive上建external表，建表的同时指定hdfs路径，在数据拷贝到指定hdfs路径的同时，也同时完成数据插入external表。例如：编辑文件test.txt$ cat test.txt1 hello2 world3 ... 阅读全文

posted @ 2014-12-02 16:46 XIAO的博客 阅读(999) 评论(0) 推荐(0) 编辑

导航

统计

点击右上角即可分享
微信分享提示