随笔分类 -  大数据

MR单元测试以及DeBug调试
摘要：Hadoop的MapReduce程序提交到集群环境中运行，出问题时定位非常麻烦，有时需要一遍遍修改代码和打印日志来排查问题，哪怕是比较小的问题。如果数据量很大的话调试起来就相当耗费时间。 而且，Map和Reduce的一些参数是Hadoop框架在运行时传入的，比如Context、InputSplit， 阅读全文
posted @ 2018-07-15 17:26 鸿鹄当高远 阅读(682) 评论(1) 推荐(0) 编辑
Eclipse搭建hadoop开发环境
该文被密码保护。
posted @ 2018-07-15 17:25 鸿鹄当高远 阅读(1) 评论(0) 推荐(0) 编辑
word count飞起来
该文被密码保护。
posted @ 2018-07-15 17:24 鸿鹄当高远 阅读(0) 评论(0) 推荐(0) 编辑
Linux虚拟机的网络配置和系统配置
该文被密码保护。
posted @ 2018-07-15 17:20 鸿鹄当高远 阅读(1) 评论(0) 推荐(0) 编辑
搭建Linux 虚拟机
该文被密码保护。
posted @ 2018-07-15 16:18 鸿鹄当高远 阅读(1) 评论(0) 推荐(0) 编辑
Hadoop概述
该文被密码保护。
posted @ 2018-07-15 16:14 鸿鹄当高远 阅读(2) 评论(0) 推荐(0) 编辑
CentOS下安装yum 3.2.28
摘要：在Linux里面依次输入下面的命令： 1，下载最新的yum-3.2.28.tar.gz并解压 wget http://yum.baseurl.org/download/3.2/yum-3.2.28.tar.gz tar xvf yum-3.2.28.tar.gz 2，进入目录，运行安装 cd yum 阅读全文
posted @ 2018-04-18 22:14 鸿鹄当高远 阅读(67858) 评论(6) 推荐(1) 编辑

点击右上角即可分享
微信分享提示