11 2024 档案
摘要：官网下载地址 https://kafka.apache.org/downloads 1、上传解压 tar -zxvf kafka_2.11-1.0.0.tgz -C ../ mv kafka_2.11-1.0.0 kafka-1.0.0 2、修改环境变量 配置环境变量 vim /etc/profil
阅读全文
摘要：官网地址 https://github.com/DTStack/chunjun 下载解压即可使用 hbase2hive案例 配置文件 { "job": { "content": [ { "reader": { "table" : { "tableName": "students" }, "name"
阅读全文
摘要：配置文件 { "job": { "setting": { "speed": { "channel":3 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "mysqlr
阅读全文
摘要：1、上传解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改配置文件 切换到sqoop配置文件目录 cd /usr/local/soft/sqoop-1.4.7/conf 复制配置文件并重命名 cp sq
阅读全文
摘要：1、datax简介 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高
阅读全文
摘要：1、RowKey的唯一原则 必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2、rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度 64
阅读全文
摘要：1、关闭hbase集群，在master中执行 stop-hbase.sh 2、上传解压配改名 tar -zxvf phoenix-hbase-2.2-5.1.3-bin.tar.gz -C /usr/local/soft/ mv phoenix-hbase-2.2-5.1.3-bin phoenix
阅读全文
摘要：概念 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。
阅读全文
摘要：```plaintext /* Hbase api中基础我们要做的任务： 1、如何创建一张表 2、如何删除一张表 3、如何向hbase表中插入一列数据 4、如何向hbase表中插入一批数据 5、如何获取一列数据 6、如何获取批量列数据 7、如何创建预分region表 */ import org.ap
阅读全文
摘要：一、hive的随机抓取策略 可以通过 set hive.fetch.task.conversion查看抓取模式默认是more有以下三种模式 none 所有涉及hdfs的读取查询都走mapreduce任务 mininal 在进行简单的select *，简单的过滤或涉及分区字段的过滤时走mr more
阅读全文
摘要：1、下载安装包并上传到Linux，然后解压 2、配置环境变量 vim /etc/profile 增加下面配置 export HBASE_HOME=/usr/local/soft/hbase-2.2.7 export PATH=$PATH:$HBASE_HOME/bin 3、加载环境变量 source
阅读全文
摘要：一、shell交互Hive，用命令hive启动一个hive的shell命令行，在命令行中输入sql或者命令来和Hive交互 首先在主节点上启动Hadoop集群，再启动hive元数据服务 启动hadoop start-all.sh 启动hive元数据服务 nohup hive --service me
阅读全文
摘要：1、下载安装包 下载hive https://archive.apache.org/dist/hive/ 下载MySQL驱动包 https://mirrors.huaweicloud.com/mysql/Downloads/Connector-J/ 2、上传到Linux并解压 tar -zxvf a
阅读全文
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T
阅读全文
摘要：package com.wll.dianxin; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; impo
阅读全文
摘要：逻辑切片 1、逻辑切片对block块进行切分，切分的结果将影响map任务的数量 2、split切片的大小默认是128M，与block块大小一样，一个block块会有一个切片 3、如果读取到最后一个block块时会与前一个block进行合并，合并后的大小如果大于1281.1将会各自生成一个切片，合并后
阅读全文
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T
阅读全文
摘要：统计文件中英文单词出现的次数 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apa
阅读全文
摘要：最终每个节点上的进程 ZK NN DN JN ZKFC master １ １ １ １ ｎｏｄｅ1 １ １ １ １ １ ｎｏｄｅ２ １ １ １ １、防火墙 service firewalld stop ２、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn
阅读全文
摘要：1、下载zookeeper，并上传到Linux并解压 tar -xvf zookeeper-3.5.7.tar.gz -C ../ 2、修改文件名配置环境变量 mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7 vim /etc/profile source
阅读全文
摘要：一、准备工作 三台虚拟机： master、node1、node2 时间同步 关闭防火墙： systemctl stop firewalld 查看防火墙状态： systemctl status firewalld 取消防火墙自启： systemctl disable firewalld 修改主机名 三
阅读全文
