zhoulinglong

摘要： 一、准备工作 l 基本工具 1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装： rpm -q epel-release 2) 如果没有安装，使用rpm命令安装： rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64 阅读全文

摘要： 帮助做网站统计的服务非常多，比如Google Analytics、百度统计、MixPanel等，但这些都不能将统计服务部署在自己的服务器上。Piwik是一个以PHP和MySQL实现的开放源代码的Web统计软件，可以产生许多实用的网站统计报告，也可以通过插件来扩展功能。 Piwik介绍 Piwik的特 阅读全文

摘要： 在之前建立的HDFS基础上，自己编写MapReduce程序，打包，并运行。 重新打包WordCount并执行 新建一个Maven项目，将示例程序中WordCount.java的复制到新项目中，使用mvn clean package打包为jar文件并复制到服务器。 WordCount.java内容如下 阅读全文

摘要： 这里使用两台EC2服务器，每台EC2额外挂载一块30G的EBS来部署HDFS，HDFS将有一个namenode，两个datanode，副本数量为2。一台服务器作为master和slave1，另一台作为slave2，EBS作为datanode存储数据的位置。 Hadoop使用2.7.2，解压到/hom 阅读全文

摘要： Hadoop安装 现在最新版为2.7.2，使用下面的链接下载： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 下载后使用下面的命令解压： tar zxf hadoop-2.7.2.tar. 阅读全文

摘要： 对JVM的设定将会很大程序上影响程序的运行，在不理想的情况下，即使服务器资源还比较充足，也容易出现运行缓慢或OutOfMemory的状况。 对JVM的调优首先要了解JVM的执行状况，Java提供了一些工具帮助我们了解JVM的情况。其中jmap可以看到启动程序的参数设定后的总体状况。 使用jmap - 阅读全文

摘要： HDFS是Hadoop的分布式文件系统，但Hadoop除了HDFS，还支持其他文件系统，如基于Amazon S3存储的文件系统。 使用hadoop fs操作S3 我们可以直接使用hadoop的命令操作一个S3的Bucket，步聚如下： (使用hadoop-2.7.2，进入hadoop-2.7.2目录 阅读全文