07 2019 档案

kudu 学习知识点总结（二）
摘要：1.kudu的产生背景和应用场景 2.kudu的基础架构 3.kudu的底层存储原理 5.kudu和hbase的对比 6.kudu性能调优和报错方案解决 7.kudu性能测试报告 创建 hash分区 + range分区 两者同时使用 的表、删除表 修改表：增加字段、删除字段 插入 表数据 3种刷新提 阅读全文
posted @ 2019-07-31 07:13 青紫天涯 阅读(9691) 评论(0) 推荐(1) 编辑
kudu 知识点学习（一）
摘要：Apache Kudu的基本思想、架构和与Impala实践 Apache Kudu是一个为了Hadoop系统环境而打造的列存储管理器，与一般的Hadoop生态环境中的其他应用一样，具有能在通用硬件上运行、水平扩展性佳和支持高可用性操作等功能。 在Kudu出现之前，Hadoop生态环境中的储存主要依赖 阅读全文
posted @ 2019-07-31 06:46 青紫天涯 阅读(984) 评论(0) 推荐(0) 编辑
Druid 入门知识学习（一）
摘要：1.什么是Druid？Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。Druid采用的架构: shared- 阅读全文
posted @ 2019-07-31 06:18 青紫天涯 阅读(1377) 评论(0) 推荐(0) 编辑
OLAP与OLTP的比较
摘要：OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 阅读全文
posted @ 2019-07-30 21:07 青紫天涯 阅读(476) 评论(0) 推荐(1) 编辑
storm知识点学习总结（一）
摘要：storm --流式处理框架 storm是个实时的、分布式以及具备高容错的计算系统 - storm 进程常驻内存 - storm 数据不经过磁盘，在内存中处理 Twitter开源的分布式实时大数据处理框架，最早开源于github storm 架构 -Nimbus -Supervisor -Worke 阅读全文
posted @ 2019-07-28 09:39 青紫天涯 阅读(526) 评论(0) 推荐(0) 编辑
JVM相关知识点学习（二）
摘要：一、程序计数器：程序计数器是一块较小的内存空间，它可以看做是当前线程所执行的字节码的行号指示器。 程序计数器处于线程独占区 如果线程执行的是java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址。如果正在执行的是native方法，这个计数器的值为undefined 此区域是唯一一个在jav 阅读全文
posted @ 2019-07-26 17:05 青紫天涯 阅读(265) 评论(0) 推荐(0) 编辑
JDK1.8 新特性学习（一）
摘要：JDK1.8 引入了函数式编程lambda，使编程变得简洁. 可以用lambda表达式替代匿名函数 package javaJVM;import java.awt.Event;import java.awt.event.ActionEvent;import java.awt.event.Action 阅读全文
posted @ 2019-07-20 04:18 青紫天涯 阅读(137) 评论(0) 推荐(0) 编辑
jvm相关知识点学习（一）
摘要：1、Class loader类加载器： 负责加载class文件，class文件在文件开头有特定的文件标识，并且classLoader只负责class文件的加载，至于它是否可以运行，则由Execution English 决定 2、Native Interfice 本地接口的作用是融合不同的编程语言为 阅读全文
posted @ 2019-07-20 04:02 青紫天涯 阅读(207) 评论(0) 推荐(0) 编辑
azkaban知识点学习总结（一）
摘要：一 概述 1.1 为什么需要工作流调度系统 1） 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例 阅读全文
posted @ 2019-07-19 07:46 青紫天涯 阅读(343) 评论(0) 推荐(0) 编辑
Oozie知识点学习总结（一）
摘要：Oozie知识框架： 理性认知： Oozie (驯象人) 2、Oozie简介： 一个基于工作流引擎的开源框架，有Cloudera公司贡献给apache，提供对hadoop、Mapreduce、Pig jobs 的任务调度和协调 oozie需要部署到java servlet容器中运行 3、oozie在 阅读全文
posted @ 2019-07-17 01:56 青紫天涯 阅读(566) 评论(0) 推荐(0) 编辑
MongoDB学习知识点总结（一）
摘要：json的两种格式： JSON对象 { } JSON数组【】 MongoDB的数据模型是面向文档的，所谓文档是一种类似于LSON的结构，简单理解MongoDB这个数据库中存的是各种各样的json（BSON） 三个概念： 数据库（database） --数据库是一个仓库，在仓库中可以存放集合 集合 ( 阅读全文
posted @ 2019-07-16 00:06 青紫天涯 阅读(457) 评论(0) 推荐(0) 编辑
elasticsearch
摘要：elasticsearch安装及安装中遇到的坑： 一、安装步骤： 上传三个安装文件： elasticsearch-5.2.2.tar --elasticsearch的安装包 elasticsearch-head-master --连接elasticsearch需要的插件安装包 node-v6.9.2 阅读全文
posted @ 2019-07-15 00:08 青紫天涯 阅读(205) 评论(0) 推荐(0) 编辑
zookeeper学习（一）
摘要：zookeeper的特点： 1、最终一致性： 为客户端展示同一个视图，这是zookeeper里面一个非常重要的功能 2、可靠性 ： 如果消息被一台服务器接收，那么他将被所有的服务器接收 3、zookeeper不能保证两个客户端同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync（）接 阅读全文
posted @ 2019-07-07 10:56 青紫天涯 阅读(383) 评论(0) 推荐(0) 编辑
redis学习总结（二）
摘要：redis 持久化 交换 什么是持久化： 将数据从掉电易失的内存存放到能够永久存储的设备上 redis持久化方式：RDB（Redis DB） hdfs:fsimage(产生持久化镜像文件，以二进制格式文件的形式存储，对应reids的RDB文件) AOF(AppendOnlyFile) hdfs: e 阅读全文
posted @ 2019-07-06 18:50 青紫天涯 阅读(165) 评论(0) 推荐(0) 编辑
多线程学习（一）
摘要：简单多线程小程序代码实现： 1、编写多线程合作逐个字母打印出“I am a programmer”的程序，该字符串有char类型的数组存储 3.龟兔赛跑问题龟兔赛跑：2000米 要求： (1)兔子每 0.1 秒 5 米的速度，每跑20米休息1秒; (2)乌龟每 0.1 秒跑 2 米，不休息； (3) 阅读全文
posted @ 2019-07-05 05:53 青紫天涯 阅读(420) 评论(0) 推荐(0) 编辑
redis学习总结（一）
摘要：一 、redis的安装 1、查看是否有安装gcc tcl 编译环境 Linux系统下的Gcc（GNU C Compiler）是GNU推出的功能强大、性能优越的多平台编译器，是GNU的代表作品之一。gcc是可以在多种硬体平台上编译出可执行程序的超级编译器，其执行效率与一般的编译器相比平均效率要高20% 阅读全文
posted @ 2019-07-05 04:20 青紫天涯 阅读(242) 评论(0) 推荐(0) 编辑
kafka学习知识点总结（四）
摘要：代码调试过程中遇到的错误总结： 在代码编写的过程中，IDEA并没有自动识别方法Subscribe需要导入的jar包，但是该方法的jar已经有maven下载，在这个过程中，需要去查看jar类中的所有方法，手动去导入实现。 在import org.apache.spark.streaming.kafka 阅读全文
posted @ 2019-07-02 05:07 青紫天涯 阅读(568) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示