03 2016 档案
摘要:对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。 Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编
阅读全文
摘要:数据仓库的价值: http://webdataanalysis.net/web-data-warehouse/value-of-data-warehouse/ 数据仓库的基本构架: http://webdataanalysis.net/web-data-warehouse/data-warehous
阅读全文
摘要:转载自:http://www.cnblogs.com/ycdx2001/p/4538750.html 在领导说了尿不湿和啤酒的故事,这里看到原文了。 (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新
阅读全文
摘要:什么是Hive? Hive是基于Hadoop HDFS之上的数据仓库。 我们可以把数据存储在这个基于数据的仓库之中,进行分析和处理,完成我们的业务逻辑。 本质上就是一个数据库 什么是数据仓库? 实际上就是一个数据库。我们可以利用数据仓库来保存我们的数据。 与一般意义上的数据库不同。数据库是一个面向主
阅读全文
摘要:推荐视频:慕课网http://www.imooc.com/video/8107 Hadoop是什么? 开源的、分布式存储+分布式计算平台。 http://hadoop.apache.org Hadoop的组成 包括两个核心组成: HDFS:分布式文件系统,存储海量的数据 MapReduce:并行处理
阅读全文
摘要:推荐学习视频:慕课网http://www.imooc.com/learn/613,讲师:辰风 ScalaAPI:http://www.scala-lang.org/api/current/#package 简介 ■函数式编程是什么鬼? 就是只用纯函数来编写程序 ■函数式编程的重要概念 •纯函数(Pu
阅读全文
摘要:转自:http://www.jdon.com/bigdata/whatisbigdata.html 你可能会问什么是大数据,它几乎是每一个业务领域的最新趋势?难道仅仅是炒作? 事实上"大数据"是一个非常简单的术语 - 它只是说 - 一个非常大的数据集。有多大?确切答案是"你能想象的一样大"! 这个数
阅读全文
摘要:2012年本站曾对大数据预测:如果说2012年是大数据概念为人所知、引人瞩目、小试牛刀的一年, 那么2013年大数据将会实现产品部署,早期投资获得回报,一小部分的产业被颠覆。 到了2014年,各种大数据项目和系统很可能成为标准配置,到处可见。 2017年:云和大数据、数据仓库合并起来,成为了一项服务
阅读全文
摘要:指令名称 : chmod 使用权限 : 所有使用者 使用方式 : chmod [-cfvR] [--help] [--version] mode file... 说明 : Linux/Unix 的档案调用权限分为三级 : 档案拥有者、群组、其他。利用 chmod 可以藉以控制档案如何被他人所调用。
阅读全文
摘要:█开始行 shell程序必须以下面的行开始(必须方在文件的第一行) #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序 █可执行 当编辑好脚本时,如果要执行该脚本,还必须使其可执行。 要使脚本可执行:chmod +x filename █管道 (|): 将一个命令的输出作为另
阅读全文
摘要:一、基本命令 1、立即关机并重启动,执行如下命令: shutdown -r now 或者reboot 2、立即关机,执行如下命令: shutdown -h now 或者poweroff 3、等待2分钟关机并重启动,执行如下命令: shutdown -r 2 4、等待2分钟关机,执行如下命令: shu
阅读全文