01 2020 档案
摘要：1、启动Phoenix监听端口#启动，端口:8765[root@node1 ~]# /opt/phoenix-4.11.0/bin/queryserver.py startstarting Query Server, logging to /tmp/phoenix/root-queryserver.log[root@node1 ~]# netstat -ntlp |grep 8765tcp6 ...
阅读全文
摘要：1、启动hbase的thrift #要启动thrift1，端口9090#可以多启动几个thrift1，让每个程序连接不同的thrift，减轻压力[root@node1 ~]# hbase-daemon.sh start thrift[root@node1 ~]# jps |grep "ThriftServer"49654 ThriftServer[root@node1 ~]# netstat -n...
阅读全文
摘要：1、创建hbase表--建表hbase(main):003:0> create 'test','cf'--查看hdfs目录,此时cf目录下没有数据[root@node1 ~]# hadoop fs -ls /hbase/data/default/testFound 3 itemsdrwxr-xr-x - root supergroup 0 2020-01-17 11:23 /...
阅读全文
摘要：原文：http://hbasefly.com/2017/07/26/transaction-2/1、关于hbase事务HBase目前只支持行级事务;可以保证行级数据的原子性、一致性、隔离性以及持久性，即通常所说的ACID特性。为了实现事务特性，HBase采用了各种并发控制策略，包括各种锁机制、MVCC机制等。2、hbase事务原子性hbase写数据：HBase数据会首先写入WAL，再写入Memst...
阅读全文
摘要：问题：列族中列名的数量不固定，随时变化问题分析：这种情况，在hive中提前做好映射是不可能的；解决：可以用hive中的map映射案例：hbase中建表：create 'user_profile','cf'hive建表：CREATE EXTERNAL TABLE user_profile ( username STRING, labels map )STORED BY 'org.apache.ha...
阅读全文
摘要：一、通过view映射hbase中的表 1、创建hbase表 hbase(main):005:0> create 'test1','cf1' hbase(main):006:0> put 'test1','rk0001','cf1:NAME','zhang1' hbase(main):007:0> p
阅读全文
摘要：一、关于PhoenixPhoenix最早是saleforce的一个开源项目，后来成为 Apache 基金的顶级项目。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用 Java 编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多...
阅读全文
摘要：原文：https://blog.csdn.net/odailidong/article/details/80551851一、引言HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能...
阅读全文
摘要：原文参考：https://www.jianshu.com/p/ff7dd5b349f1 一、CAP理论概述 1、cap 分布式系统中，一致性、可用性、分区容错性不可兼得，最多只可同时满足两个。 C(Consistency 一致性)： * A read is guaranteed to return
阅读全文
摘要：#nginx 日志格式192.168.1.1 - - [25/Dec/2019:23:00:12 +0800] "GET / HTTP/1.0" 200 241 "-" "-"192.168.1.2 - - [25/Dec/2019:23:21:49 +0800] "GET / HTTP/1.0" 200 241 "-" "-"#命令awk '{split($4,array,"[");if(arr...
阅读全文
摘要：1、描述 NTP： 环境描述： 2、安装ntp 3、硬件时间问题 4、配置 server1 server2和server3 5、启动 6、查看 查看与时间源的偏差： 查看同步的时间源：
阅读全文
摘要：1、在pom.xml中添加插件 <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.0</version> <configuration> <source>1.8</source
阅读全文
摘要：一、Command类型的单一jobcommand1.job#command.jobtype=commandcommand=bash hello.shhello.sh#!/bin/bashecho 'hello azkaban'将job资源文件打包成zip文件:通过azkaban的web管理平台创建project并上传job压缩包启动执行该job这里直接执行，执行完后可以查看：二、Command类型...
阅读全文
摘要：一、下载azkaban官网：https://azkaban.github.io/downloads.htmlGitHub下载地址：https://github.com/azkaban/azkaban下载：[root@salt ~]# git clone https://github.com/azkaban/azkaban.git二、安装1、构建我这里没有用git下载，是直接下载的压缩包，不过都问题...
阅读全文
摘要：一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1、通...
阅读全文
