上一页 1 ··· 19 20 21 22 23 24 25 26 27 ··· 35 下一页
2018年11月4日
Hadoop基础-通过IO流操作HDFS
摘要： Hadoop基础-通过IO流操作HDFS 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.上传文件 二.下载文件 三.定位读取文件 阅读全文
posted @ 2018-11-04 22:50 尹正杰 阅读(1370) 评论(0) 推荐(0) 编辑
Hadoop基础-HDFS集群中大数据开发常用的命令总结
摘要： Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令，如果想要了解更多，比如滚动编辑，融合镜像文件，目录的空间配额等运维操作，请参考我之前的笔记：https://www.c 阅读全文
posted @ 2018-11-04 22:42 尹正杰 阅读(1019) 评论(0) 推荐(0) 编辑
Hadoop基础-HDFS的API常见操作
摘要： Hadoop基础-HDFS的API常见操作 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记， 方便自己以后查看。在调用API的时候，可能会需要maven依赖，添加依赖的包如下： 一.HDFS获取文件系统 二.HDFS文件上传 阅读全文
posted @ 2018-11-04 22:10 尹正杰 阅读(617) 评论(0) 推荐(0) 编辑
2018年10月31日
Kafka集群优化篇-调整broker的堆内存(heap)案例实操
摘要： Kafka集群优化篇-调整broker的堆内存(heap)案例实操 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.查看kafka集群的broker的堆内存使用情况 1>.使用jstat查看gc的信息([root@kafka116 ~]# jstat -gc 12698 1s 阅读全文
posted @ 2018-10-31 17:37 尹正杰 阅读(14820) 评论(4) 推荐(1) 编辑
Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行
摘要： Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 在我的CDH5.15.1集群中，默认安装的spark是1.6版本，开发的同事跟我抱怨，说之前的大数据平台（在ucloud上，属于云服务 阅读全文
posted @ 2018-10-31 12:10 尹正杰 阅读(4612) 评论(0) 推荐(0) 编辑
2018年10月29日
HDFS集群PB级数据迁移方案-DistCp生产环境实操篇
摘要： HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 用了接近2个星期的时间，终于把公司的需要的大数据组建部署完毕了，当然，在部署的过程中踩了不少坑，自己也对系统，网络，各个大数据生态圈常用软件进行了调优操作，后期等我整理好笔记 阅读全文
posted @ 2018-10-29 18:25 尹正杰 阅读(9670) 评论(0) 推荐(2) 编辑
2018年10月20日
YARN基本配置-物理资源分配设置
摘要： YARN基本配置-物理资源分配设置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 折腾了一个星期，终于让开发将数据跑起来了，可通过yarn的webUI界面，发现这里的核心数和内存都对应不上，相差的太远了，我的服务器都是32core，128G内存，12*8T的硬盘。理论上的集群可以 阅读全文
posted @ 2018-10-20 11:59 尹正杰 阅读(2327) 评论(0) 推荐(0) 编辑
2018年10月19日
HTML&CSS基础-长表格
摘要： HTML&CSS基础-长表格 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果 阅读全文
posted @ 2018-10-19 18:05 尹正杰 阅读(455) 评论(0) 推荐(0) 编辑
HTML&CSS基础-表格的样式
摘要： HTML&CSS基础-表格的样式 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果 阅读全文
posted @ 2018-10-19 00:40 尹正杰 阅读(4647) 评论(0) 推荐(0) 编辑
2018年10月18日
kafka关于修改副本数和分区的数的案例实战（也可用作leader节点均衡案例）
摘要： kafka关于修改副本数和分区的数的案例实战（也可用作leader节点均衡案例） 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.关于topic分区数的修改 1>.创建1分区1个的topic，名称为yinzhengjie-channel 2>.查看topic的信息 3>.将之前 阅读全文
posted @ 2018-10-18 01:54 尹正杰 阅读(7248) 评论(0) 推荐(1) 编辑
kafka集群监控之kafka-manager部署(kafka-manager的进程为：ProdServerStart)
摘要： kafka集群监控之kafka-manager部署(ProdServerStart) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka manager简介 1>.什么是Kafka Manager 2>.kafka manager支持功能 二.部署kafka manag 阅读全文
posted @ 2018-10-18 01:49 尹正杰 阅读(4882) 评论(0) 推荐(0) 编辑
2018年10月17日
flume配置kafka channle的实战案例
摘要： flume配置kafka channle的实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 最近在新公司负责大数据平台的建设，平台搭建完毕后，需要将云平台（我们公司使用的Ucloud的云服务器，大概320多台，还在扩容中），公司每个月光大数据服务费用就接近50万人民币。老板 阅读全文
posted @ 2018-10-17 17:25 尹正杰 阅读(4105) 评论(2) 推荐(0) 编辑
HTML&CSS基础-表格简介
摘要： HTML&CSS基础-表格简介 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果 阅读全文
posted @ 2018-10-17 11:11 尹正杰 阅读(1240) 评论(0) 推荐(0) 编辑
2018年10月16日
HTML&CSS基础-雪碧图的制作和使用
摘要： HTML&CSS基础-雪碧图的制作和使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用PS将3张图片合并为一张(温馨提示:整合图片适合整理背景图，如果是img引用的图片并不使用) 1>.将准备的图依次拖入到PS中 2>.拉一根辅助线，并点击"图像" >"画布大小"会弹出 阅读全文
posted @ 2018-10-16 20:24 尹正杰 阅读(1891) 评论(0) 推荐(0) 编辑
Hadoop生态圈-使用Ganglia监控flume中间件
摘要： Hadoop生态圈-使用Ganglia监控flume中间件 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Ganglia监控简介 加州伯克利大学千禧计划的其中一个开源项目.是一个集群汇总监控用的的软件，和Cacti不同，cacti是详细监控集群中每台服务器的运行状态，而Gan 阅读全文
posted @ 2018-10-16 16:19 尹正杰 阅读(2622) 评论(1) 推荐(0) 编辑
2018年10月15日
JavaScript基础知识-条件运算符(三元运算符)
摘要： JavaScript基础知识-条件运算符(三元运算符) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果 阅读全文
posted @ 2018-10-15 17:07 尹正杰 阅读(863) 评论(0) 推荐(0) 编辑
2018年10月12日
初识Apache Kafka 核心概念
摘要： 初识Apache Kafka 核心概念 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka概要设计 1>.吞吐量/延迟 2>.消息持久化的优点 3>.负载均衡和故障转移 4>.伸缩性 二.Kafka简介 1>.什么是JMS 2>.JMS的两种工作模式 3>.Kafka的 阅读全文
posted @ 2018-10-12 22:06 尹正杰 阅读(3713) 评论(0) 推荐(0) 编辑
2018年10月10日
Hadoop生态圈-CentOs7.5单机部署ClickHouse
摘要： Hadoop生态圈-CentOs7.5单机部署ClickHouse 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 到了新的公司，认识了新的同事，生产环境也得你去适应新的集群环境，我新入职的公司的大数据开发同时并不看好hbase，而是对clickhouse青睐有加，听他们口头把Cl 阅读全文
posted @ 2018-10-10 19:42 尹正杰 阅读(3229) 评论(0) 推荐(1) 编辑
2018年10月1日
安装Cloudera manager agent步骤详解
摘要： 安装Cloudera manager agent步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager agent 阅读全文
posted @ 2018-10-01 19:23 尹正杰 阅读(7813) 评论(0) 推荐(1) 编辑
安装Cloudera manager Server步骤详解
摘要： 安装Cloudera manager Server步骤详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要是针对：https://www.cnblogs.com/yinzhengjie/p/9734108.html 笔记中关于Cloudera manager Serv 阅读全文
posted @ 2018-10-01 17:30 尹正杰 阅读(3202) 评论(0) 推荐(0) 编辑
ulimit常用参数介绍
摘要： ulimit常用参数介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数 阅读全文
posted @ 2018-10-01 12:42 尹正杰 阅读(2180) 评论(0) 推荐(0) 编辑
Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1
摘要： Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我之前分享过关于离线方式部署Cloudera Manager5.15.1的笔记。本篇博客给大家分享基于yum源的方式部署Cloudera Mana 阅读全文
posted @ 2018-10-01 09:37 尹正杰 阅读(1455) 评论(0) 推荐(0) 编辑
2018年9月16日
Hadoop生态圈-CDH与HUE使用案例
摘要： Hadoop生态圈-CDH与HUE使用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HUE的介绍 1>.HUE的由来 HUE全称是HadoopUser Experience，看这名字就知道怎么回事了吧。没错，直白来说就是Hadoop用户体验，是一个开源的Apache H 阅读全文
posted @ 2018-09-16 01:22 尹正杰 阅读(916) 评论(0) 推荐(0) 编辑
2018年9月15日
Apache Kafka常用配置
摘要： Apache Kafka常用配置 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Broker配置信息 属性 默认值 描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用 阅读全文
posted @ 2018-09-15 21:54 尹正杰 阅读(2593) 评论(0) 推荐(0) 编辑
2018年9月14日
Hadoop生态圈-Zookeeper的工作原理分析
摘要： Hadoop生态圈-Zookeeper的工作原理分析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 无论是是Kafka集群，还是producer和consumer都依赖于Zookeeper集群保存一些mate信息，来保证系统可用性！这个特点会产生一个现象，即会产生大量的网络IO， 阅读全文
posted @ 2018-09-14 23:15 尹正杰 阅读(2115) 评论(0) 推荐(0) 编辑
2018年9月13日
Hadoop生态圈-Cloudera Manager的基本使用
摘要： Hadoop生态圈-Cloudera Manager的基本使用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 1>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等） 阅读全文
posted @ 2018-09-13 23:02 尹正杰 阅读(3073) 评论(0) 推荐(0) 编辑
通过Cloudera Manager部署CDH5.15.1的webUI界面详解
摘要： 通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客CDH的部署完全通过Cloudera Manager的webUI的安装向导来完成的，关于CM的部署详情请参考：https://www.cnblog 阅读全文
posted @ 2018-09-13 02:14 尹正杰 阅读(11901) 评论(5) 推荐(1) 编辑
2018年9月12日
离线方式部署Ambari2.6.0.0
摘要： Hadoop生态圈-离线方式部署Ambari2.6.0.0 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我现在所在的公司用的是CDH管理Hadoop集群，前端时间去面试时发现很多企业都在用HDP，于是回来捣鼓来一下HDP的部署方式。部署时也踩过不少坑，这里把正确部署Ambari 阅读全文
posted @ 2018-09-12 00:57 尹正杰 阅读(2047) 评论(0) 推荐(0) 编辑
2018年9月11日
Hadoop基础-HDFS安全管家之Kerberos实战篇
摘要： Hadoop基础-HDFS安全管家之Kerberos实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我们都知道hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，我们使用这些组件部署的hdfs分布式文件系统时，都会面临很直 阅读全文
posted @ 2018-09-11 21:34 尹正杰 阅读(2557) 评论(0) 推荐(0) 编辑
2018年9月10日
Hadoop基础-Hdfs各个组件的运行原理介绍
摘要： Hadoop基础-Hdfs各个组件的运行原理介绍 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.NameNode工作原理（默认端口号：50070） 1>.什么是NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两 阅读全文
posted @ 2018-09-10 20:21 尹正杰 阅读(1473) 评论(0) 推荐(0) 编辑
2018年9月9日
Hadoop基础-HDFS的读取与写入过程剖析
摘要： Hadoop基础-HDFS的读取与写入过程剖析 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客会简要介绍hadoop的写入过程，并不会设计到源码，我会用图和文字来描述hdfs的写入过程。 一.hdfs写数据流程 如上图所示，想要把一个4.2G的文件写入到hdfs集群中，它 阅读全文
posted @ 2018-09-09 17:25 尹正杰 阅读(1085) 评论(0) 推荐(0) 编辑
配置GitLab Push 自动触发Jenkins构建
摘要： 配置GitLab Push 自动触发Jenkins构建 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客是对之前的笔记：https://www.cnblogs.com/yinzhengjie/p/9607406.html 的一个改进版本，我们可以利用这两篇博客的案例，来实现 阅读全文
posted @ 2018-09-09 12:14 尹正杰 阅读(5386) 评论(0) 推荐(0) 编辑
2018年9月8日
关于Jenkins部署代码权限三种方案
摘要： 关于Jenkins部署代码权限三种方案 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.修改Jenkins进程用户为root 二.将代码目录用户改为Jenkins 上述代码摘自我之前的笔记，详情请参考：https://www.cnblogs.com/yinzhengjie/p/ 阅读全文
posted @ 2018-09-08 23:14 尹正杰 阅读(2011) 评论(0) 推荐(0) 编辑
2018年9月7日
Jenkins自动发布代码实战篇
摘要： Jenkins自动发布代码实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Jenkins服务器配置秘钥对并上传到Gitlab中 1>.在Jenkins后端生成秘钥对 2>.查看服务端的公钥和私钥 3>.将Jenkins服务器端的公钥上传到GitLab中 二.Jenkin 阅读全文
posted @ 2018-09-07 22:28 尹正杰 阅读(3460) 评论(0) 推荐(0) 编辑
2018年9月6日
Jenkins发送邮件
摘要： Jenkins发送邮件 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.配置并发执行任务数量 1>.点击系统管理 2>.点击系统设置 3>.修改执行者数量为：5（如果是虚拟机建议将Jenkins的服务器内存设置较大，这个执行者数量调的越大它就会越消耗系统资源），别忘记点击保存按 阅读全文
posted @ 2018-09-06 23:54 尹正杰 阅读(474) 评论(0) 推荐(0) 编辑
2018年9月4日
Jenkins插件安装实战篇
摘要： Jenkins插件安装实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 上篇博客我介绍了Jenkins是啥，以及持续集成，持续交付，持续部署的概念，那么问题来了：你知道CI和CD是啥意思吗？（如果你不清楚我问的是啥意思，建议你看一下我之前写的笔记：https://www.cn 阅读全文
posted @ 2018-09-04 23:52 尹正杰 阅读(18949) 评论(1) 推荐(2) 编辑
2018年9月3日
Jenkins部署实战篇
摘要： Jenkins部署实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.持续集成理论 1>.开发写代码的演变过程 1.1>.一个开发单打独斗，撸代码，开发网站，自由自在； 1.2>.多个开发同时开发一个网站，同时改一份代码。但是同时给一个文件会导致冲突； 1.3>.分支结构， 阅读全文
posted @ 2018-09-03 22:43 尹正杰 阅读(1987) 评论(0) 推荐(2) 编辑
2018年9月2日
模拟生产环境中的代码上线实战篇
摘要： 模拟生产环境中的代码上线实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.代码上线流程 二.开发人员做的事情 1>.模拟开发人员编写的测试代码 2>.测试代码是是否可以成功运行 3>.提交代码到GitLab 4>.进行push操作 5>.push成功界面 6>.查看Git 阅读全文
posted @ 2018-09-02 23:54 尹正杰 阅读(1151) 评论(0) 推荐(0) 编辑
2018年9月1日
使用pycharm开发代码上传到GitLab和GitHub
摘要： 使用pycharm开发代码上传到GitLab和GitHub 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 我这里主要是针对局域网的自减的GitLab服务器，python开发工程师如何用python相关IDE，比如pycharm链接GitLab。关于如何部署GitLab，详情请参考 阅读全文
posted @ 2018-09-01 18:47 尹正杰 阅读(31863) 评论(3) 推荐(4) 编辑
2018年8月31日
私有仓库GitLab快速入门篇
摘要： 私有仓库GitLab快速入门篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 安装文档请参考官网：https://about.gitlab.com/installation/#centos-7。当然根据本篇博客的步骤走也是可以成功部署GitLab的哟。 一.GitLab简介 1> 阅读全文
posted @ 2018-08-31 23:03 尹正杰 阅读(8028) 评论(4) 推荐(2) 编辑
上一页 1 ··· 19 20 21 22 23 24 25 26 27 ··· 35 下一页