摘要：
企业中的比较全面HADOOP的生态架构 HDFS ：分布式文件系统 YARN：分布式资源管理 MapReduce：离线计算框架 Spark：内存计算框架 Hive：数据仓库 （HQL），提供一种类SQL的数据处理方法 Pig：一种数据流语言，用来快速轻松的处理巨大的数据 HBase：分布式数据库 O 阅读全文
随笔档案-2017年05月
hadoop概述
2017-05-21 23:29 by Dr.CoCo, 634 阅读, 收藏,
摘要：
一、hadoop的起源Apache Lucene 开源的高性能全文检索工具包Apache Nutch 开源的web搜索引擎google的三篇论文 GFS -> HDFS MapReduce -> MapReduce BigTable -> HBaseApache Hadoop 大规模数据处理 二、h 阅读全文
大数据学习路线
2017-05-17 02:06 by Dr.CoCo, 187 阅读, 收藏,
摘要：
基础： 1.SQL功底 2.linux基础命令 3.JavaSE 第一阶段：Hadoop 2.x （HDFS、MapReduce、YARN） 第二阶段：大数据仓库Hive 第三阶段：大数据协作框架（sqoop、Flume、Oozie、Hue） 第四阶段：分布式数据库Hbase 第五阶段：流计算Sto 阅读全文
大数据协作框架【扫盲】
2017-05-17 00:43 by Dr.CoCo, 423 阅读, 收藏,
摘要：
大数据协作框架 第一个问题：hdfs存放的海量数据，数据来源是什么？ 现实数据来源两个方面 * RDBMS（Oracle、Mysql，DB2...） > sqoop(SQL to HADOOP) * 文件（apache、nginx日志数据...） > Flume(实时抽取数据) 第二个问题：分析任务 阅读全文
【完美升级Openssh】redhat 6.8 x64升级SSH到OpenSSH_7.4p1
2017-05-16 17:50 by Dr.CoCo, 17243 阅读, 收藏,
摘要：
需求： 因openssh扫描存在漏洞，基于安全考虑，需要将openssh_7.1p1升级为openssh_7.4p1。 操作如下： 1.下载安装包： openssh的安装需要依赖zlib和openssl，因此要一并下载下来。 注意：openssh最新版7.4p1依赖的openssl版本为1.0.2k 阅读全文
python的常用内置方法
2017-05-09 23:48 by Dr.CoCo, 679 阅读, 收藏,
摘要：
__author__ = 'coco' ''' python内置函数 ''' # all() 全为真，才为真 print(all([0,-2,3])) # False print(all([1,-2,3])) # True # any() 任意为真，则为真 print(any([1,-6,3])) # True print(any([0,'',1])) # True # bin() ... 阅读全文
saltstack的数据系统-Grains & Pillar
2017-05-09 02:41 by Dr.CoCo, 182 阅读, 收藏,
摘要：
Grains grains是minion第一次启动的时候采集的静态数据，可以用在salt的模块和其他组件中。其实grains在每次的minion启动（重启）的时候都会采集，即向master汇报一次的。 Grains能用来做什么？ 1.能匹配minion 2.能在top.sls中匹配minion 3. 阅读全文
SaltStack快速入门
2017-05-09 01:39 by Dr.CoCo, 222 阅读, 收藏,
摘要：
一、SaltStack的介绍 SaltStack，简称salt，自动化管理工具，一种全新的基础设施管理方式，部署轻松，在几分钟内可运行起来，扩展性好，很容易管理上万台服务器，速度够快，服务器之间秒级通讯。 salt使用python语言开发。 salt的运行方式： 1.Local 2.Master/M 阅读全文
python装饰器
2017-05-05 01:59 by Dr.CoCo, 209 阅读, 收藏,
摘要：
一、装饰器如何理解？ 1.先来理解两个词"器","装饰" "器"：器在这里我们可以理解为函数。 "装饰"：可以理解为添加、附加的意思。 2.装饰器的定义： 装饰器它的本质是函数，装饰其他函数就是为其他函数添加附加功能。 3.装饰器的原则： 1）不能修改被装饰的函数的源代码。 2）不能修改被装饰的函数 阅读全文
浙公网安备 33010602011771号