01 2019 档案
摘要：hbase版本 2.0.4 与hadoop兼容表http://hbase.apache.org/book.html#hadoop 我的 hadoop版本是3.1 1.单机版hbase 1.单机版hbase 1.1解压安装包 tar xf hbase-2.0.4-bin.tar.gz -C /opt/
阅读全文
摘要：1.hadoop生态系统 2.hbase简介 非关系型数据库知识面扩展 cassandra、hbase、mongodb、redis couchdb，文件存储数据库 Neo4j非关系型图数据库 3.hbase概念 hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式
阅读全文
摘要：Hive 优化 1.核心思想： 把Hive SQL 当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain 显示执行计划 EXPLAIN [EXTENDED] query 2.Hive运行方式： 本地
阅读全文
摘要：1.Hive运行方式： 命令行方式cli：控制台模式 脚本运行方式（实际生产环境中用最多） JDBC方式：hiveserver2 web GUI接口 （hwi、hue等） 1.1Hive在CLI模式中与hdfs交互 执行执行dfs命令 例：dfs –ls / 1.2与Linux交互 ！开头 例： !
阅读全文
摘要：1.架构图 3.地址规划 主机名 内网ip 外网ip lvs-master 192.168.137.111（仅主机）eth1 172.16.76.111（桥接）eth0 lvs-slave 192.168.137.112（仅主机）eth1 172.16.76.112（桥接）eth0 realserv
阅读全文
摘要：1.hive 参数、变量 1.1hive的命名空间： hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 1.2hive 参数设置方式 1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml 2、启动hive
阅读全文
摘要：1.实现struct数据结构例子 1.1创建student表 1.2向这个student表中插入数 上传文件到hdfs，并加载hdfs上的文件 上传前 根目录下的目录 1.3上传文件到hdfs根目录 1.4客户端执行上传 根目录下的data2目录移动到远程目录下，改成copy后缀的名称 2.基站掉话
阅读全文
摘要：1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”
阅读全文
摘要：1.Hive 分区partition 必须在表定义时指定对应的partition字段 a、单分区建表语句： create table day_table (id int, content string) partitioned by (dt string); 单分区表，按天分区，在表结构中存在id，
阅读全文
摘要：hive ddl 操作官方手册https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL hive dml 操作官方手册https://cwiki.apache.org/confluence/display/Hive/Lan
阅读全文
摘要：mysql5.7初次登录使用提示 ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement. 需要重置密码。。。 重置就重置吧，我日结果又说我
阅读全文
摘要：1.hive简介 logo 是一个身体像蜜蜂，头是大象的家伙，相当可爱。 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”
阅读全文
