benjamin杨

摘要： 1.hive 参数、变量 1.1hive的命名空间： hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 1.2hive 参数设置方式 1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml 2、启动hive 阅读全文

摘要： 1.实现struct数据结构例子 1.1创建student表 1.2向这个student表中插入数 上传文件到hdfs，并加载hdfs上的文件 上传前 根目录下的目录 1.3上传文件到hdfs根目录 1.4客户端执行上传 根目录下的data2目录移动到远程目录下，改成copy后缀的名称 2.基站掉话 阅读全文

摘要： 1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为” 阅读全文

摘要： 1.Hive 分区partition 必须在表定义时指定对应的partition字段 a、单分区建表语句： create table day_table (id int, content string) partitioned by (dt string); 单分区表，按天分区，在表结构中存在id， 阅读全文

摘要： hive ddl 操作官方手册https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL hive dml 操作官方手册https://cwiki.apache.org/confluence/display/Hive/Lan 阅读全文

摘要： mysql5.7初次登录使用提示 ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement. 需要重置密码。。。 重置就重置吧，我日结果又说我 阅读全文

摘要： 1.hive简介 logo 是一个身体像蜜蜂，头是大象的家伙，相当可爱。 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据” 阅读全文

摘要： 1.需求 推荐好友的好友 图1： 2.解决思路 3.代码 3.1MyFoF类代码 说明： 该类定义了所加载的配置，以及执行的map，reduce程序所需要加载运行的类 3.2FMapper类代码 说明： 该类的作用是编写map阶段的代码，对文本数据做一个预处理，按照规划比较每组的kv 做比较，这里面 阅读全文

摘要： 1.需求 2.思路 3.代码实现 3.1MyWeather 类代码： 这个类主要是用来定义hadoop的配置，在执行计算程序时所需加载的一些类。 3.2Tmapper类代码 该类继承Mapper类他的主要作用是对输入的文件做一些预处理工作。 3.3TQ类代码 该类实现WritableComparab 阅读全文

摘要： 1.MyWordCount代码： package com.hadoop.mr; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; imp 阅读全文