随笔分类 - hadoop
摘要:杨赟快跑 简书作者 2018-09-24 10:24 打开App 杨赟快跑 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路。 0. 准备
阅读全文
摘要:1 安装环境和必要软件 3 台 ubuntu 16.04 vim 2 创建hadoop用户 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo 3 更新软件源 公司环境限制系统的的源无法下载j
阅读全文
摘要:版权声明:原创作品,谢绝转载!否则将追究法律责任。 本篇博客的高可用集群是建立在完全分布式基础之上的,详情请参考:https://www.cnblogs.com/yinzhengjie/p/9065191.html。并且需要新增一台Linux服务器,用于Namenode的备份节点。 一.实验环境准备
阅读全文
摘要:版权声明:原创作品,谢绝转载!否则将追究法律责任。 Ganglia是一个轻量级的应用,部署方式相比zabbix部署要简单的多,安装完毕后并启动服务,服务端就可以直接监控客户端。Ganglia不需要像Nagios,Cacti或是Zabbix那样安装数据库服务。Zabbix和Cacti以及Nagios安
阅读全文
摘要:大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置(master、slave相同操作) 4.1 配置jdk 4.2 配置java环境变量 添加如下信息 4.3 刷新配置文件: 4.4 配置hosts 4.5 配置免
阅读全文
摘要:一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf,使用sysctl -p命令即时生效。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 kernel.shmmax = 500000000 kernel.
阅读全文
摘要:超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) 1.0.准备 1.1.目录 用VMware创
阅读全文