尹正杰 - 博客园

2019年5月29日

C语言基础知识-数据类型

摘要： C语言基础知识-数据类型作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.常量与变量 1>.关键字 2>.数据类型 3>.常量 4>.变量 5>.类型限定符 6>.使用案例二.进制 1>.二进制 2>.八进制 3>.十进制 4>.十六进制 5>.进制转换表 6>.在C程序中进阅读全文

posted @ 2019-05-29 05:37 尹正杰阅读(4260) 评论(1) 推荐(0) 编辑

2019年5月28日

使用Cloudera Manager部署HUE

摘要：使用Cloudera Manager部署HUE 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.添加HUE服务 1>.进入CM服务安装向导 2>.选择需要安装的hue服务 3>.为hue选择依赖环境 4>.为hue分配角色 5>.数据库设置 mysql> CREATE DATA 阅读全文

posted @ 2019-05-28 22:10 尹正杰阅读(2602) 评论(0) 推荐(0) 编辑

2019年5月27日

使用Cloudera Manager部署oozie

摘要：使用Cloudera Manager部署oozie 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.进入CM服务安装向导 2>.选择要添加的oozie服务 3>.选择oozie的依赖环境 4>.为oozie分配角色 5>.数据库设置 mysql> CREATE DATABAS 阅读全文

posted @ 2019-05-27 23:08 尹正杰阅读(1304) 评论(0) 推荐(0) 编辑

2019年5月26日

使用Cloudera Manager部署Spark服务

摘要：使用Cloudera Manager部署Spark服务作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的spark服务 3>.为spark选择一个依赖环境 4>.为spark分配角色 5>.默认配置即可 6>.等待spar 阅读全文

posted @ 2019-05-26 23:13 尹正杰阅读(2437) 评论(0) 推荐(0) 编辑

2019年5月25日

HDFS重启集群导致数据损坏，使用fsck命令修复过程

摘要： HDFS重启集群导致数据损坏，使用fsck命令修复过程作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。我们先看一组输出官方关于fsck命令有对应的解释,我们查看更详细的信息，官方链接：https://hadoop.apache.org/docs/r2.9.1/hadoop-pr 阅读全文

posted @ 2019-05-25 17:58 尹正杰阅读(3810) 评论(0) 推荐(0) 编辑

关系型数据的收集

摘要：关系型数据的收集作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。关系型数据是常见的一种数据类型，通常存储在像MySQL，Oracle等关系型数据库中，为了能够利用大数据技术处理和存储这些关系型数据，首先需将这些数据导入到像HDFS，HBase这样的大数据存储系统中，以便使用Map 阅读全文

posted @ 2019-05-25 16:29 尹正杰阅读(800) 评论(0) 推荐(0) 编辑

2019年5月24日

使用Cloudera Manager搭建Kudu环境

摘要：使用Cloudera Manager搭建Kudu环境作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的kudu环境 3>.为Kudu分配角色 4>.为kufu分配Linux主机的本地存储目录 5>.等待kudu安装完毕即可阅读全文

posted @ 2019-05-24 12:23 尹正杰阅读(1581) 评论(0) 推荐(0) 编辑

分布式结构化存储系统-Kudu简介

摘要：分布式结构化存储系统-Kudu简介作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS；在追求低延迟，有随机读写需求的场景下，我们选用HBas 阅读全文

posted @ 2019-05-24 05:38 尹正杰阅读(1533) 评论(0) 推荐(0) 编辑

2019年5月23日

kubernetes基础及部署说明

摘要： kubernetes基础及部署说明作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.容器编排系统生态圈 Docker通过“镜像”机制极富创造性地解决了应用程序打包的根本性难题，它推动了容器技术的快速普及生产落地。容器本身仅提供了托管运行应用的底层逻辑，而容器编排（Orches 阅读全文

posted @ 2019-05-23 23:25 尹正杰阅读(822) 评论(0) 推荐(0) 编辑

分布式结构化存储系统-HBase应用案例

摘要：分布式结构化存储系统-HBase应用案例作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。为了让读者更进一步了解HBase在实际生成环境中的应用方法，在董西成的书里介绍两个经典的HBase实际应用案例，分别是社交关系数据存储和时间序列数据库OpenTSDB。我这里手抄记录一下。一阅读全文

posted @ 2019-05-23 13:01 尹正杰阅读(1374) 评论(0) 推荐(0) 编辑

使用Cloudera Manager搭建Impala环境

摘要：使用Cloudera Manager搭建Impala服务作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.使用CM安装Imapala 1>.进入CM的服务安装向导 2>.选择需要安装的Imapala服务 3>.为Impala指定依赖环境 4>.为Impala分配角色 5>.为I 阅读全文

posted @ 2019-05-23 06:28 尹正杰阅读(1651) 评论(0) 推荐(0) 编辑

使用Cloudera Manager搭建HBase环境

摘要：使用Cloudera Manager搭建HBase环境作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.使用CM安装HBase服务 1>.进入CM服务安装向导 2>.选择需要安装的HBase服务 3>.为HBase分配角色 4>.配置HBase相关参数 5>.等待服务安装完成阅读全文

posted @ 2019-05-23 00:35 尹正杰阅读(2758) 评论(0) 推荐(0) 编辑

2019年5月22日

使用Cloudera Manager搭建Hive服务

摘要：使用Cloudera Manager搭建Hive服务作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.安装Hive环境 1>.进入CM服务安装向导 2>.选择需要安装的hive服务 3>.选择hive的依赖环境，我们选择第一个即可（hive不仅仅可以使用mr计算，还可以使用te 阅读全文

posted @ 2019-05-22 23:46 尹正杰阅读(4468) 评论(0) 推荐(0) 编辑

使用Cloudera Manager搭建MapReduce集群及MapReduce HA

摘要：使用Cloudera Manager搭建MapReduce集群及MapReduce HA 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.通过CM部署MapReduce On YARN 1>.进入安装服务向导 2>.选择咱们要安装的服务MR 3>.为MR分配角色 4>.配置Ma 阅读全文

posted @ 2019-05-22 18:30 尹正杰阅读(814) 评论(0) 推荐(0) 编辑

摘要： C语言概述作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.什么是C语言二.计算机介绍 1>.计算机结构组成 2>. 计算机系统组成 3>.程序和指令三.语言的发展历程 1>.机器语言 2>.汇编语言和编译器 3>.高级语言 4>.语言的层次 5>. 语言进化史四.为什么阅读全文

posted @ 2019-05-22 06:36 尹正杰阅读(878) 评论(0) 推荐(0) 编辑

2019年5月21日

Python入门篇-封装与解构和高级数据类型集合（set）和字典（dict）

摘要： Python入门篇-封装与解构和高级数据类型集合（set）和字典（dict）作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.封装和结构二.集合（set） 1>.集合的特点 2>.set定义和初始化 3>.set的元素 4>.set增加 #！/usr/bin/env pyth 阅读全文

posted @ 2019-05-21 00:15 尹正杰阅读(1927) 评论(0) 推荐(0) 编辑

2019年5月20日

使用Cloudera Manager搭建YARN集群及YARN HA

摘要：使用Cloudera Manager搭建YARN集群及YARN HA 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.使用Cloudera Manager搭建YARN集群 1>.通过CM界面点击添加服务 2>.进入服务安装向导，选择YARN服务安装 3>.为YARN服务分配角色阅读全文

posted @ 2019-05-20 23:13 尹正杰阅读(1054) 评论(0) 推荐(0) 编辑

2019年5月19日

使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇

摘要：使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.使用Cloudera Manager搭建zookeeper集群 1>.通过CM界面点击添加服务 2>.进入服务安装向导，选择需要安装的zooke 阅读全文

posted @ 2019-05-19 22:07 尹正杰阅读(1641) 评论(0) 推荐(0) 编辑

2019年5月18日

使用Cloudera Manager搭建HDFS完全分布式集群

摘要：使用Cloudera Manager搭建HDFS完全分布式集群作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。关于Cloudera Manager的搭建我这里就不再赘述了，可以参考我之前的笔记：离线方式部署Cloudera Manager5.15.1。一.基于CM界面搭建HDF 阅读全文

posted @ 2019-05-18 22:12 尹正杰阅读(2198) 评论(0) 推荐(0) 编辑

2019年5月16日

分布式结构化存储系统-HBase访问方式

摘要：分布式结构化存储系统-HBase访问方式作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 HBase提供了多种访问方式，包括HBase shell，HBase API，数据收集组件（比如Flume，Sqoop等），上层算框架以及Apache Phoenix等，本篇博客将详细介绍这几阅读全文

posted @ 2019-05-16 23:05 尹正杰阅读(536) 评论(0) 推荐(0) 编辑

2019年5月15日

分布式结构化存储系统-HBase基本架构

摘要：分布式结构化存储系统-HBase基本架构作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。在大数据领域中，除了直接以文件形式保存数据外，还有大量结构化和半结构化的数据，这类数据通常需要支持更新操作，比如随机插入和删除，这使得分布式文件系统HDFS很难满足要求。为了方便用户存取海量阅读全文

posted @ 2019-05-15 23:37 尹正杰阅读(1329) 评论(0) 推荐(0) 编辑

2019年5月14日

交互式计算引擎MOLAP篇

摘要：交互式计算引擎MOLAP篇摘自：《大数据技术体系详解：原理、架构与实践》 MOLAP是一种通过预计算cube方式加速查询的OLAP引擎，它的核心思想是“空间换时间”，典型代表包括Druid和Kylin。一.Druid简介二.Kylin简介三.Druid于Kylin对比阅读全文

posted @ 2019-05-14 23:35 尹正杰阅读(2566) 评论(0) 推荐(0) 编辑

2019年5月13日

交互式计算引擎REOLAP篇

摘要：交互式计算引擎ROLAP篇摘自：《大数据技术体系详解：原理、架构与实践》一.Impala 1>.基本架构 2>.访问方式二.Presto 1>.基本架构 2>.访问方式 3>.Presto实战案例三.Impala与Presto对比四.博主推荐阅读链接一：Impala快速上手教程：http 阅读全文

posted @ 2019-05-13 23:12 尹正杰阅读(1439) 评论(0) 推荐(0) 编辑

2019年5月12日

交互式计算引擎常见的开源实现

摘要：交互式计算引擎常见的开源实现摘自：《大数据技术体系详解：原理、架构与实践》交互式处理（Interactive Processing）是操作人员和系统之间存在交互作用的信息处理方式。操作人员通过终端设备（如输入输出系统）输入信息和操作命令，系统接到后立即处理，并通过终端设备显示处理结果。在大数据领阅读全文

posted @ 2019-05-12 01:16 尹正杰阅读(2165) 评论(0) 推荐(0) 编辑

2019年5月11日

HQL基本语法及应用案例

摘要： HQL基本语法及应用案例摘自：《大数据技术体系详解：原理、架构与实践》一.HQL基本语法 1>.HQL初体验 [root@storage111 yinzhengjie]# hdfs dfs -ls /tmp/ Found 5 items d - hdfs supergroup 0 2019-05 阅读全文

posted @ 2019-05-11 01:32 尹正杰阅读(3030) 评论(0) 推荐(0) 编辑

2019年5月10日

资源管理与调度系统-资源管理系统Mesos

摘要：资源管理与调度系统-资源管理系统Mesos 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 Mesos是诞生于UC Berkeley的一个研究项目，它的设计动机是解决编程模型和计算框架在多样化环境下，不同框架间的资源隔离和共享问题。尽管他的直接设计动机与YARN稍有不同，但它的架阅读全文

posted @ 2019-05-10 00:45 尹正杰阅读(2463) 评论(0) 推荐(0) 编辑

2019年5月9日

hive介绍及架构设计

摘要： hive介绍及架构设计作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。我们知道MapReduce和Spark它们提供了高度抽象的编程接口便于用户编写分布式程序，它们具有极好的扩展性和容错性，能够处理超大规模的数据集。这些计算引擎提供了面向高级语言（比如Java，Python等）的阅读全文

posted @ 2019-05-09 00:24 尹正杰阅读(5919) 评论(0) 推荐(1) 编辑

2019年5月8日

企业微信号注册步骤详解及zabbix报警媒介配置

摘要：企业微信号注册步骤详解及zabbix报警媒介配置作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.注册企业微信信息 1>.打开企业微信官网(https://work.weixin.qq.com/) 2>.填写注册信息(如下图所示，还需要咱们用微信去关联一下这个企业号哟~) 3> 阅读全文

posted @ 2019-05-08 00:21 尹正杰阅读(1454) 评论(0) 推荐(0) 编辑

2019年5月7日

zabbix Server 4.0 监控Nginx

摘要： zabbix Server 4.0 监控Nginx 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.安装Nginx 1>.安装EPEL YUM源 [root@node102.yinzhengjie.org.cn ~]# yum -y install epel-release L 阅读全文

posted @ 2019-05-07 23:55 尹正杰阅读(762) 评论(0) 推荐(0) 编辑

zabbix Server 4.0 监控TCP的12种状态

摘要： zabbix Server 4.0 监控TCP的12种状态作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。大家对TCP三次握手比较熟悉了，都知道当发生DOSS攻击时，客户端发送SYN给服务端后，服务端响应SYN+ACK，此时客户端就不回应服务端ACK啦（如果正常建立三次握手客户端阅读全文

posted @ 2019-05-07 22:39 尹正杰阅读(2632) 评论(0) 推荐(0) 编辑

2019年5月4日

资源管理与调度系统-YARN资源隔离及以YARN为核心的生态系统

摘要：资源管理与调度系统-YARN资源隔离及以YARN为核心的生态系统作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.什么是资源隔离二.CPU隔离机制三.DockerContainerExecutor 四.以YARN为核心的生态系统 1>.MapReduce 2>.Tez 3> 阅读全文

posted @ 2019-05-04 23:06 尹正杰阅读(1291) 评论(0) 推荐(0) 编辑

2019年5月2日

资源管理与调度系统-YARN的资源调度器

摘要：资源管理与调度系统-YARN的资源调度器作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。资源调度器是Hadoop YARN中最核心的组件之一，它是ResourceManager中的一个插拔式服务组件，负责整个集群资源的管理和分配。 Hadoop最初是为了批处理作业而设计的，当时（阅读全文

posted @ 2019-05-02 22:33 尹正杰阅读(1281) 评论(0) 推荐(0) 编辑

2019年5月1日

资源管理与调度系统-YARN的基本架构与原理

摘要：资源管理与调度系统-YARN的基本架构与原理作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。为了能够对集群中的资源进行统一管理和调度，Hadoop2.0引入了数据操作系统YARN。YARN的引入大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN能够将资源按需分配给阅读全文

posted @ 2019-05-01 21:36 尹正杰阅读(2710) 评论(0) 推荐(0) 编辑

2019年4月30日

批处理引擎MapReduce应用案例

摘要：批处理引擎MapReduce应用案例作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 MapReduce能够解决的问题有一个共同特点：任务可以被分解为多个子问题，且这些子问题相对独立，彼此之间不会有牵制，待并行处理完成这些子问题后，总的问题便被解决。在实际应用中，这类问题非常庞大阅读全文

posted @ 2019-04-30 01:01 尹正杰阅读(548) 评论(0) 推荐(0) 编辑

2019年4月29日

批处理引擎MapReduce内部原理

摘要：批处理引擎MapReduce内部原理作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.MapReduce作业生命周期二.Map Task与Reduce Task 1>.Map Task详细流程该问题实际上包含两层含义，即处理结果为何不写入内存，或者直接发送给Reduce T 阅读全文

posted @ 2019-04-29 00:18 尹正杰阅读(753) 评论(0) 推荐(0) 编辑

2019年4月27日

批处理引擎MapReduce程序设计

摘要：批处理引擎MapReduce程序设计作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.MapReduce API 二.MapReduce程序设计基础 1>.构建倒排索引 2>.SQL GroupBy 三.MapReduce程序设计进阶 1>.数据压缩冷热数据是根据最近公司访问阅读全文

posted @ 2019-04-27 21:40 尹正杰阅读(779) 评论(0) 推荐(0) 编辑

2019年4月24日

快速搭建Kerberos服务端及入门使用

摘要：快速搭建Kerberos服务端及入门使用作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 Kerberos是一种网络身份验证协议。它旨在通过使用秘密密钥加密为客户端/服务器应用程序提供强身份验证。麻省理工学院可以免费实施该协议。Kerberos也可用于许多商业产品。尽管有许多配置阅读全文

posted @ 2019-04-24 22:44 尹正杰阅读(15389) 评论(1) 推荐(2) 编辑

2019年4月23日

分布式协调服务Zookeeper集群之ACL篇

摘要：分布式协调服务Zookeeper集群之ACL篇作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.zookeeper ACL相关知识概览 1>.zookeeper官方文档（http://zookeeper.apache.org/doc/r3.4.14/zookeeperProgr 阅读全文

posted @ 2019-04-23 23:30 尹正杰阅读(1277) 评论(0) 推荐(1) 编辑

2019年4月22日

分布式协调服务Zookeeper集群监控JMX和ZkWeb应用对比

摘要：分布式协调服务Zookeeper集群监控JMX和ZkWeb应用对比作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 JMX是用来远程监控Java应用的框架，这个也可以用来监控其他的Java应用。JMX使用起来也很简单。当然还有一款比较优秀的监控工具就是ZkWeb，本片博客都会简单介阅读全文

posted @ 2019-04-22 23:34 尹正杰阅读(1753) 评论(0) 推荐(0) 编辑

2019年4月21日

分布式协调服务Zookeeper集群搭建

摘要：分布式协调服务Zookeeper集群搭建作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.安装jdk环境 1>.操作环境 2>.打开Oracle官方网站下载相应的平台的安装包（https://www.oracle.com/technetwork/java/javase/down 阅读全文

posted @ 2019-04-21 23:30 尹正杰阅读(619) 评论(0) 推荐(0) 编辑