Frankdeng

摘要： 一.Kylin的概述 官方网址：http://kylin.apache.org/cn/ Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询 阅读全文

摘要： 一、说明 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa （一直回车直即可） 2．将公钥分发给所有节点（包括本机)： ssh-copy-id -i 主机名 阅读全文

摘要： 一.virtualBox的安装 官方Liunx版本下载地址: https://www.virtualbox.org/wiki/Linux_Downloads 这里选择下载ubuntu 16.04 AMD64 ,下载出来的deb格式 直接双击输入用户密码安装完成即可,启动VirtualBox报错如下信 阅读全文

摘要： 一.基本命令 1.查看Ubuntu版本 2.查看位数 3.查看内核版本 二.系统服务 1.用户组 Useradd 创建一个新的用户 Groupadd 组名 创建一个新的组 Passwd 用户名 为用户创建密码 Passwd -d用户名 删除用户密码也能登陆 Passwd -S用户名 查询账号密码 U 阅读全文

摘要： 安装 L2TP协议安装： 1. 添加PPA sudo apt-add-repository ppa:seriy-pr/network-manager-l2tp 2. 刷新软件包缓存 sudo apt-get update 3. 安装network-manager-l2tp sudo apt-get 阅读全文

摘要： 一.IDEA开发环境 1.pom文件设置 2.flink开发流程 Flink具有特殊类DataSet并DataStream在程序中表示数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet数据有限的情况下，对于一个DataStream元素的数量可以是无界的。 这些集合在某些关键方面与 阅读全文

摘要： 一. Flink的下载 安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载 Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 二. Local模式 阅读全文

摘要： 一. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 阅读全文

该文被密码保护。 阅读全文

摘要： 一.Storm的数据分发策略 1. Shuffle Grouping 随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同。 轮询，平均分配 2. Fields Grouping 按字段分组，比如，按"user-id"这个字段来分组，那么具有同样" 阅读全文