随笔分类 -  hadoop

摘要:杨赟快跑 简书作者 2018-09-24 10:24 打开App 杨赟快跑 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路。 0. 准备 阅读全文
posted @ 2018-11-29 11:20 技术颜良 阅读(7750) 评论(0) 推荐(2) 编辑
摘要:1 安装环境和必要软件 3 台 ubuntu 16.04 vim 2 创建hadoop用户 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo 3 更新软件源 公司环境限制系统的的源无法下载j 阅读全文
posted @ 2018-11-23 17:06 技术颜良 阅读(351) 评论(0) 推荐(0) 编辑
摘要:版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客的高可用集群是建立在完全分布式基础之上的,详情请参考:https://www.cnblogs.com/yinzhengjie/p/9065191.html。并且需要新增一台Linux服务器,用于Namenode的备份节点。 一.实验环境准备 阅读全文
posted @ 2018-07-04 13:41 技术颜良 阅读(453) 评论(0) 推荐(0) 编辑
摘要:版权声明:原创作品,谢绝转载!否则将追究法律责任。 Ganglia是一个轻量级的应用,部署方式相比zabbix部署要简单的多,安装完毕后并启动服务,服务端就可以直接监控客户端。Ganglia不需要像Nagios,Cacti或是Zabbix那样安装数据库服务。Zabbix和Cacti以及Nagios安 阅读全文
posted @ 2018-07-04 13:39 技术颜良 阅读(562) 评论(0) 推荐(0) 编辑
摘要:大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置(master、slave相同操作) 4.1 配置jdk 4.2 配置java环境变量 添加如下信息 4.3 刷新配置文件: 4.4 配置hosts 4.5 配置免 阅读全文
posted @ 2018-03-22 11:54 技术颜良 阅读(4525) 评论(0) 推荐(1) 编辑
摘要:一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf,使用sysctl -p命令即时生效。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 kernel.shmmax = 500000000 kernel. 阅读全文
posted @ 2018-02-24 15:27 技术颜良 阅读(1330) 评论(0) 推荐(0) 编辑
摘要:超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) 1.0.准备 1.1.目录 用VMware创 阅读全文
posted @ 2018-02-07 14:42 技术颜良 阅读(298) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示