网易数帆

2018年7月23日

摘要：本文来自网易云社区。麦肯锡对于“大数据”的定义是：一种规模大到在获取、存储、管理、分析方面大大的超出了传统数据库软件工具能力范围的数据集合，具有4V特征，即Volumn（海量的规模）、Velocity（快速的流转）、Variety（多样的类型）和Value（低密度的价值）。“大”指的是数据规模，大阅读全文

posted @ 2018-07-23 15:39 网易数帆阅读(3783) 评论(0) 推荐(1) 编辑

大数据、数据挖掘在交通领域的应用

摘要：本文来自网易云社区。大数据和数据挖掘技术的发展给解决交通中存在的问题带来了新的思路。大数据缓解交通堵塞，改善交通服务，促进了智能交通系统更好更快的发展。在目前的技术条件和发展水平下，大数据在交通中的应用主要有以下几种方式： 1.公共交通部门发行的一卡通大量使用，因此积累了乘客出行的海量数据，这也阅读全文

posted @ 2018-07-23 15:33 网易数帆阅读(3796) 评论(0) 推荐(0) 编辑

2018年7月10日

浅谈 kubernetes service 那些事（上篇）

摘要：一、问题首先，我们思考这样一个问题：访问k8s集群中的pod，客户端需要知道pod地址，需要感知pod的状态。那如何获取各个pod的地址？若某一node上的pod故障，客户端如何感知？二、k8s service 什么是service 是发现后端pod服务；是为一组具有相同功能的容器应用提供阅读全文

posted @ 2018-07-10 16:10 网易数帆阅读(1136) 评论(0) 推荐(0) 编辑

Docker中搭建zookeeper集群

摘要： 1.获取官方镜像从dockerhub获取官方的zookeeper镜像： 2.了解镜像内容拉取完镜像后，通过我们可以查看到关于该镜像的一些基本信息：即，该zookeeper的版本是3.4.10，conf目录在/conf，基于该镜像启动的容器的entrypoint为默认传入的参数为基于该镜像阅读全文

posted @ 2018-07-10 16:08 网易数帆阅读(453) 评论(0) 推荐(1) 编辑

【kudu pk parquet】runtime filter实践

摘要：已经有好一阵子没有写博文了，今天给大家带来一篇最近一段时间开发相关的文章：在impala和kudu上支持runtime filter。大家搜索下实践者社区，可以发现前面已经有好几位同学写了这个主题的博文（都是我们组的^_^），说明这个功能在数据库领域的重要性，所以，嘿嘿，再敲一遍黑板：“重点，必考阅读全文

posted @ 2018-07-10 16:02 网易数帆阅读(676) 评论(0) 推荐(0) 编辑

【大数据之数据仓库】选型流水记

摘要：去年10月份放下了一手打造的缓存服务（NKV和NCR），投身到新成立的数据科学中心从事大数据存储相关的工作，新的部门、新的项目、新的知识，脚踏实地，从零开始。第一款调研的对象是cloudera公司刚开源的kudu产品，可以将其理解为是hadoop系统中的hdfs，一个存储引擎，但是和hdfs的不同阅读全文

posted @ 2018-07-10 16:00 网易数帆阅读(1692) 评论(0) 推荐(0) 编辑

【大数据之数据仓库】安装部署GreenPlum集群

摘要：本篇将向大家介绍如何快捷的安装部署GreenPlum测试集群，大家可以跟着我一块儿实践一把^_^ 1.主机资源申请2台网易云主机，操作系统必须是RedHat或者CentOS，配置尽量高一点。如果是sa统一初始化的物理机，这里不再描述，因为中间有很多操作（比如关闭puppet服务等等） 2.下载安装阅读全文

posted @ 2018-07-10 15:57 网易数帆阅读(1478) 评论(1) 推荐(0) 编辑

【大数据之数据仓库】GreenPlum优化器对比测试

摘要：在《【大数据之数据仓库】选型流水记》一文中有提及，当时没有测试GreenPlum的quicklz压缩算法和ORCA查询优化器，考虑到quicklz压缩算法因为版权问题不会开源（详情请参阅： https://github.com/greenplum-db/gpdb/blob/master/src/b 阅读全文

posted @ 2018-07-10 15:56 网易数帆阅读(2513) 评论(0) 推荐(0) 编辑

【大数据之数据仓库】GreenPlum PK DeepGreen（TPCH）

摘要： 1.背景一张UML类图可以简单的说明GreenPlum和DeepGreen之间的关系： GreenPlum：主页：http://greenplum.org/ 源码：开源，https://github.com/greenplum-db/gpdb，主页：http://greenplum.org/ 阅读全文

posted @ 2018-07-10 15:54 网易数帆阅读(1234) 评论(0) 推荐(0) 编辑

【大数据之数据仓库】HAWQ versus GreenPlum

摘要：谈到GreenPlum，肯定会有同事说HAWQ！是的，在本系列第一篇选型流水记里，也有提到。因为对HAWQ接触有限，没有深入具体了解，所以很多信息都是来自于博文，人云亦云，我把看过的资料简要整理，希望对感兴趣的同事有一些帮助^_^ HAWQ的身世：https://www.pivotalguru.co 阅读全文

posted @ 2018-07-10 15:52 网易数帆阅读(1335) 评论(0) 推荐(0) 编辑

公告