随笔分类 - 大数据hadoop集群
摘要：create table toys.test (id int, x0 double, x1 double, x2 double, x3 double) row format delimited fields terminated by ',' stored as textfile; 先在hive 数
阅读全文
摘要：找到hadoop安装目录下$HADOOP_HOME/etc/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value
阅读全文
摘要：create table tbl_test_bak like tbl_test; insert into tbl_test_bak select * from tbl_test;
阅读全文
摘要：1. Hive数据类型 Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类类型描述字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号
阅读全文
摘要：先将本地数据上传到hadoop,在将hadoop 数据导入hive数据仓库：hive> use toys ; OKTime taken: 1.372 secondshive> load data local inpath '/data/projects/test.txt' overwrite int
阅读全文
摘要：部署：hive 下载: wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin.tar.gz hive 配置环境变量： # hive home
阅读全文
摘要：第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.
阅读全文
摘要：使用库Pyhive 安装：pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c
阅读全文
摘要：doc：http://pyhdfs.readthedocs.io/en/latest/ pip install hdfs https://hdfscli.readthedocs.io/en/latest/quickstart.html 此外还有一个库pyhdfs https://github.com
阅读全文
摘要：软件环境：VMware10.0，VMware10,ubuntu15.10桌面版（ubuntukylin-15.10-desktop-i386.iso），Apache hadoop（hadoop-1.2.1.tar.gz），JDK（jdk-8u11-linux-i586.tar.gz） 一 安装JDK
阅读全文
