2019年8月14日
yarn
摘要： 1.1 yarn（分布式资源管理器） 1.1.1 yarn是什么？ yarn是MapReduce第二代，将jobtracker重构呈功能分离成单独的组件。Yarn可以看作一个集群操作系统，他为应用程序提供了基本的服务来更好的利用大的、动态的、并行的基础设施资源。用任何语言编写的应用程序都能顺利用任意 阅读全文
posted @ 2019-08-14 11:18 星辰大海-sdifens 阅读(492) 评论(0) 推荐(0) 编辑
zookeeper
摘要： 1.1 zookeeper（分布式协作服务） ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 阅读全文
posted @ 2019-08-14 11:16 星辰大海-sdifens 阅读(300) 评论(0) 推荐(0) 编辑
机器学习基础
摘要： 1.1 机器学习的分类 1.1.1 监督学习 定义：从成对的已经标记好的输入和输出经验数据作为一个输入进行学习，用来预测输出结果，是从有正确答案的例子中学习。 任务分类 定义：将数据映射到预先定义的群组或类（历史数据的特征）。算法要求基于数据属性值来定义类别，把具体某些特征的数据项映射到给定的某个类 阅读全文
posted @ 2019-08-14 11:03 星辰大海-sdifens 阅读(302) 评论(0) 推荐(0) 编辑
2019年1月21日
hive--数据仓库
摘要： 1.1.1 hive是什么？ Hive是基于 Hadoop 的一个数据仓库工具： 1.1.2 hive和Hadoop关系 Hive利用HDFS存储数据，利用MapReduce查询数据,聚合函数需要经过MapReduce，非聚合函数直接读取hdfs块信息，不通过MapReduce。 1.1.3 hiv 阅读全文
posted @ 2019-01-21 10:50 星辰大海-sdifens 阅读(4019) 评论(0) 推荐(0) 编辑
hbase-列存储动态数据库
摘要： HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。 HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。 它是Hadoop的生态系统，提供对数据的随机实时读/写访 阅读全文
posted @ 2019-01-21 10:37 星辰大海-sdifens 阅读(1816) 评论(0) 推荐(0) 编辑
hadoop环境搭建-伪分布模式
摘要： Appache hadoop 版本：2.77 jdk:1.8 系统：centos7 注意不要在root下解压，要单独建一个用户安装hadoop及其组件。 一、先查看系统是否有自带j #dk: rpm -qa|grep java 通常是如下4个包： rpm -e --nodeps java-1.8.0 阅读全文
posted @ 2019-01-21 10:28 星辰大海-sdifens 阅读(533) 评论(0) 推荐(0) 编辑
2019年1月9日
HIVE—数据仓库
摘要： 1、 hive是什么？ Hive是基于 Hadoop 的一个数据仓库工具： 1. hive本身不提供数据存储功能，使用HDFS做数据存储； 2. hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序； 3. hive也不提供资源调度系统，也是默认由Hadoop当中YARN集群 阅读全文
posted @ 2019-01-09 14:40 星辰大海-sdifens 阅读(1860) 评论(0) 推荐(0) 编辑
接口测试jemeter使用
摘要： 使用jemeter5时要先添加环境变量，需要有JDK1.8及以上版本支持。这里主要对接口测试做一些说明。 以上就是常见的设置问题。在window上我们通常是不需要改动配置文件的，如果要在生产上执行测试计划，需要注意一下几点： 1、 测试线程组分类，将同一类型的用例放在一个线程组里； 2、修改配置文件 阅读全文
posted @ 2019-01-09 14:34 星辰大海-sdifens 阅读(760) 评论(0) 推荐(0) 编辑
hadoop体系架构
摘要： 1.1 Hadoop 概念：hadoop是一个由Apache基金会所开发的分布式系统基础架构。是根据google发表的GFS(Google File System)论文产生过来的。 优点： 1. 它是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理。 2. 高可 阅读全文
posted @ 2019-01-09 14:09 星辰大海-sdifens 阅读(587) 评论(0) 推荐(0) 编辑
mysql-5.7.24 在centos7安装
摘要： 搭建环境：mysql5.7.24 CentOS-7-x86_64-DVD-1804.iso 桌面版 1. 进入官网：https://dev.mysql.com/downloads/mysql/ 该tar包有两个安装文件，如图： 通常我们选择第一个安装，第二个是测试包，另有用途。 2. 上传至cent 阅读全文
posted @ 2019-01-09 14:08 星辰大海-sdifens 阅读(603) 评论(0) 推荐(0) 编辑