01 2021 档案

hadoop2.8_hive_sqoop_spark_impala_cdh_centos7.3
摘要：参考：https://blog.csdn.net/jssg_tzw/article/details/70314184#环境 Impala目前好像还不支持Hive2.0centos7.3_x86_64hadoop-2.8.0hbase-1.2.6zookeeper-3.4.10mysql-commun 阅读全文
posted @ 2021-01-11 23:21 virtual_daemon 阅读(219) 评论(0) 推荐(0)
hadoop2.6.4+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装
摘要：hadoop2.6.4+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装 转载https://www.lagou.com/lgeduarticle/115329.html 创建3台虚拟机 主机为桌面版 其他为迷你版本 ***************** 阅读全文
posted @ 2021-01-11 22:33 virtual_daemon 阅读(230) 评论(0) 推荐(0)
CDH搭建Hadoop集群_Centos7
摘要：CDH搭建Hadoop集群(Centos7) 一、说明 节点(CentOS7.5) Server || Agent CPU node11 Server || Agent 6G node12 Agent 2G node13 Agent 2G #下载mysql-connector-java http:/ 阅读全文
posted @ 2021-01-11 12:58 virtual_daemon 阅读(240) 评论(0) 推荐(0)
用Sqoop实现数据HDFS到mysql到Hive
摘要：【Hive】用Sqoop实现数据HDFS到mysql到Hive 大数据协作框架 “大数据协作框架”其实是一个统称，主要是以下四个框架 数据转换工具 Sqoop 文件收集库框架 Flume 任务调度框架 Oozie 大数据WEB工具Hue Sqoop作用 将关系数据库中的某张表数据抽取到Hadoop的 阅读全文
posted @ 2021-01-06 00:51 virtual_daemon 阅读(237) 评论(0) 推荐(0)
hdfs的文件结构
摘要：在HBASE中建立一张表结构如下: {NAME => 'USER_TEST_TABLE', MEMSTORE_FLUSHSIZE => '67108864', MAX_FILESIZE => '1073741824', FAMILIES => [ {NAME => 'info', BLOOMFILT 阅读全文
posted @ 2021-01-06 00:13 virtual_daemon 阅读(273) 评论(0) 推荐(0)
搭建Hadoop-1.2.1&hbase-0.94.17&hive-0.9.0&centos6.8_x64集群
摘要：一、搭建环境 --yum install -y java-1.7.0-openjdk.x86_64 系统：CentOS6.8_x64 hadoop-1.2.1 zookeeper-3.4.6 hbase-0.94.17 下载软件包： --hadoop-1.2.1.tar.gz http://mirr 阅读全文
posted @ 2021-01-05 21:47 virtual_daemon 阅读(86) 评论(0) 推荐(0)
缩减表空间碎片
摘要：Shrink 操作需满足表空间是本地管理和自动段空间管理（10g、11g默认就是这样），以下情况不能用shrink：IOT索引组织表用rowid创建的物化视图的基表带有函数索引的表SECUREFILE 大对象压缩表未分配段空间的空表不能shrink表资源被占用时不能shrink 相比alter ta 阅读全文
posted @ 2021-01-02 12:09 virtual_daemon 阅读(232) 评论(0) 推荐(0)
MySQL8.0.12源码编译安装_centos7.3
摘要：源码编译安装MySQL8.0.12_centos7.3 --下载mysql8.0.12 https://dev.mysql.com/downloads/mysql/ Archives中选择归档版本，MySQL Community Server:Operating System选择Source Cod 阅读全文
posted @ 2021-01-01 20:34 virtual_daemon 阅读(253) 评论(0) 推荐(0)
Mysql8.0.18的源码安装
摘要：一、环境准备OS：CentOS 7.4DB：Mysql 8.0.18硬件：40G以上空间，4G以上内存二、安装配置1、下载文件下载mysql-boost-8.0.18.tar.gz2、安装依赖包# yum -y install gcc gcc-c++ ncurses-devel openssl-de 阅读全文
posted @ 2021-01-01 20:32 virtual_daemon 阅读(669) 评论(0) 推荐(0)