Fork me on GitHub
Hadoop新版本中map任务待处理split大小的计算方法

PHP:IIS下的PHP开发环境搭建

背景

发现书柜中有好几本PHP的图书,决定还是学学PHP,本文介绍一下在Windows环境下PHP开发环境的搭建。

运行环境搭建

下载和安装下面三个软件:

  1. IIS。
  2. http://php.iis.net。
  3. Dreamweaver。

开发环境搭建

建立IIS站点:

建立Dreamweaver站点:

测试开发环境

代码

复制代码
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>PHP Info</title>
</head>

<body>
<?php phpinfo(); ?>
</body>
</html>
复制代码

运行效果

备注

同时使用两门语言或许会有意想不到的好处,我现在最感兴趣的是:PHP是否适用企业应用开发?

 

 
分类: PHP

Hadoop新版本中map任务待处理split大小的计算方法

我们首先看一下split大小的计算公式:

   minSize=max{minSplitSize,mapred.min.split.size} (minSplitSize大小默认为1B)

   maxSize=mapred.max.split.size(不在配置文件中指定时大小为Long.MAX_VALUE)

   splitSize=max{minSize,min{maxSize,blockSize}}(注意,blockSize为文件在hdfs中的块大小,比如我们先配置的dfs.block.size的值为67108864,也即64MB,后向分布式文件系统中存入一个1GB大小的文件A,该文件在hdfs中的块大小为64MB;当我们更改dfs.block.size的值为33554432,即32MB是,此时A文件在分布式文件系统中的blockSize仍为64M,切记啊,这个就曾迷糊俺好长时间.....)

    mapred.min.split.size、mapred.max.split.size、blockSize均可以再配置文件中配置,前面两个在mapred-site.xml中,最后一个可在在hdfs-site.xml中进行配置,单位均为B。

    map数是这样计算出来的,如下所示:

    文件大小/splitSize>1.1,创建一个split0,文件剩余大小=文件大小-splitSize

    .....

    剩余文件大小/splitSize<=1.1 将剩余的部分作为一个split

   每一个分片对应一个map任务,这样map任务的数目也就显而易见啦。

 

 
 
 
标签: Hadoop
posted on 2013-08-11 21:50  HackerVirus  阅读(293)  评论(0编辑  收藏  举报