转帖-hadoop的JobId TaskId生成规则

    在hadoop的任务job中，jobid是标志一个任务的唯一标志，可以用于定位到该job，查询该job相关信息，kill掉该job 。

    jobId是如何生成的呢  ？

    在一般的服务集群上我们通过JobTracker来管理job，该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下：

 

public synchronized JobID getNewJobId() throws IOException {
    ensureRunning();
    return new JobID(getTrackerIdentifier(), nextJobId++);
  }

     代码二：

 

 /**
   * Get the unique identifier (ie. timestamp) of this job tracker start.
   * @return a string with a unique identifier
   */
  public String getTrackerIdentifier() {
    return trackerIdentifier;
  }

      trackerIdentifier 和 nextJobId均是JobTracker的内部变量 。

      trackerIdentifier 是固定的JobTracker启动（实例化）时就确定的，代码如下：

     

SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmm");

trackerIdentifier = dateFormat.format(new Date());

 

       

      trackerIdentifier是启动时的时间戳 。 nextJobId是启动时赋值1，没执行一次该方法则nextJobId值+1 。 所以job即是：job_JobTracker启动时间戳_该JobTracker生成的顺序的一个id ，该id也叫做iobtracker的id。 JobID是系统分配给作业的唯一标识符，它的toString结果是job_<jobtrackerID>_<jobNumber>。例子：job_200707121733_0003表明这是jobtracker200707121733 （利用jobtracker的开始时间作为ID）的第3号作业。

      作业分成任务执行，任务号TaskID包含了它所属的作业ID，同时也有任务ID，同时还保持了这是否是一个Map任务（成员变量isMap）。任务号的字符串表示为task_<jobtrackerID>_<jobNumber>_[m|r]_<taskNumber>，如task_200707121733_0003_m_000005表示作业200707121733_0003的000005号任务，改任务是一个Map任务，同样，reduce任务中间是_r_.... 。

       一个任务有可能有多个执行（错误恢复/消除Stragglers等），所以必须区分任务的多个执行，这是通过类TaskAttemptID来完成，它在任务号的基础上添加了尝试号。一个任务尝试号的例子是attempt_200707121733_0003_m_000005_0，它是任务task_200707121733_0003_m_000005的第0号尝试。

      （原帖：http://blog.csdn.net/codestinity/article/details/6939086）