focusbigdata

摘要： 积极乐观的态度是解决任何问题和战胜任何困难的第一步 Hadoop集群脚本编写 编写分发文件脚本 应用场景如下：比如有三台主机master1,slave1,slave2 如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上 那么可以使用rsync命令分发单个文件，也可以使用如下脚 阅读全文

摘要： 没有谁必须要帮助你，任何事情都得靠自己去完成 Hadoop源码编译 准备工作 （1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 （2）jar包准备(hadoop源码、JDK8、maven、ant 、protobu 阅读全文

摘要： 做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底 Hadoop配置集群事件同步 时间同步方式 找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间 配置时间同步步骤 1.时间服务器配置（必须root用户） rpm -qa|grep ntp 2.修 阅读全文

摘要： ​ 成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人 Hadoop配置日志聚集 应用场景 为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，有了日志之后就可以查看程序中的报错信息，从而调试程序 配置步骤 1.配置yarn-sit 阅读全文

摘要： 大数据学习路线 ​ 下面和大家讲一下大数据学习的路线，帮助大家快速进入大数据行业。我会结合自己的实际经历还说明学习路线。该路线针对的对象是零基础小白，目标是到初中级大数据工程师，要求掌握数据建模，数据存储，数据存储，数据传输，数据分析等能力达到大数据岗位的应聘标准。 （一）Java基础和web开发 阅读全文

摘要： 天空才是你的极限 Hadoop配置历史服务器 应用场景 为了查看运行过程序的情况，因此需要配置历史服务器 配置步骤 1.配置mapred-site.xml <!-- 指定历史服务器的IP和端口 --> <property> <name>mapreduce.jobhistory.address</na 阅读全文

摘要： 优于别人，并不高贵，真正的高贵应该是优于过去的自己 Hadoop完全分布式环境搭建 编写分发文件脚本 应用场景如下：比如有三台主机master1,slave1,slave2 如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上 那么可以使用rsync命令分发单个文件，也可以使用 阅读全文

摘要： 生命中真正重要的不是你遭遇了什么，而是你记住了哪些事，又是如何铭记的 Hadoop本地模式环境搭建 一.准备虚拟机环境 （1）克隆虚拟机 使用VMware克隆三台虚拟机 （2）修改主机名 vim /etc/hosts （3）配置IP为静态IP ifconfig （4）配置ip和域名之间的映射 （5） 阅读全文