sphinx索引部分源码续——过程：连接到CSphSource对应的sql数据源，通过fetch row取其中一行，然后解析出field，分词，获得wordhit，最后再加入到CSphSource的Hits里

后面就是初始化一些存储结构，其中重点说下缓存出来的几个临时文件分别的作用。结尾时tmp0的存储的是被上锁的Index，有些Index正在被查询使用 故上锁。tmp1，即对应将来生成的spp文件，存储词汇的位置信息，包含该词所在的文档ID，该词所在词典对应的ID，以及该词在本文档中的位置信息。 tmp2，即对应将来生成的spa文件存储的是文档信息，包含了DocID以及DocInfo信息。tmp7对应的是多值查询，感兴趣的可以度娘，这是一 种查询方式，这里不做过多解释

1 2 3 4 5 6 7

// create temp files     CSphAutofile fdLock ( GetIndexFileName("tmp0"), SPH_O_NEW, m_sLastError, true );     CSphAutofile fdHits ( GetIndexFileName ( m_bInplaceSettings ? "spp" : "tmp1" ), SPH_O_NEW, m_sLastError, !m_bInplaceSettings );     CSphAutofile fdDocinfos ( GetIndexFileName ( m_bInplaceSettings ? "spa" : "tmp2" ), SPH_O_NEW, m_sLastError, !m_bInplaceSettings );     CSphAutofile fdTmpFieldMVAs ( GetIndexFileName("tmp7"), SPH_O_NEW, m_sLastError, true );     CSphWriter tOrdWriter;     CSphString sRawOrdinalsFile = GetIndexFileName("tmp4");

下面具体处理每一个Source取出的每一个文档，主要是通过这个IterateHitsNext实现的

具体到该函数可以看到，该函数主要是有两部分组成，即提取索引列(NextDocument),针对该索引列构建索引(BuildHits)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

bool CSphSource_Document::IterateHitsNext ( CSphString & sError ) {     assert ( m_pTokenizer );     PROFILE ( src_document );     BYTE ** dFields = NextDocument ( sError );//从数据源中提取需要构建索引的列     if ( m_tDocInfo.m_iDocID==0 )         return true;     if ( !dFields )         return false;     m_tStats.m_iTotalDocuments++;     m_dHits.Reserve ( 1024 );     m_dHits.Resize ( 0 );     BuildHits ( dFields, -1, 0 );//针对提取出的需要索引的列构建索引     return true; }

具体看一下NexDocument的操作，通过Sql.h中的API——sqlFetchRow，取出一条记录，验证该记录是否合法

 

将条记录按照Schema分成Feild部分，即需要构建索引的部分，以及Attribute部分，即排序需要用到的属性部分

 

提取出相关数据后，针对每一条需要索引的item开始构建索引，进入BuildHit函数，首先先初始化相关参数，准备分词器缓存

然后开始分词，分词的过程在这里不具体讲了，这不属于Sphinx的主要涉足领域，当我们把iField即要索引的字段放入分词器中依次解析，然后将分出的词赋值给sWord，将sWord的位置计算后赋值给ipos

将分词后的sWord去词典中查找它对应的词ID，这样我们就收集全了这个词的所有详细信息，创建一个类型为CSphWordHit类型的tHit,其中存储了该sWord所在的DocID，在词典中对应的词ID，以及在文档中词的位置信息Pos

1 2 3 4 5 6 7 8 9 10 11

SphWordID_t iWord = m_pDict->GetWordID ( sWord );                 if ( iWord )                 {                     CSphWordHit & tHit = m_dHits.Add ();//将tHit放入dHit中去                     tHit.m_iDocID = m_tDocInfo.m_iDocID;                     tHit.m_iWordID = iWord;                     tHit.m_iWordPos = iPos;                 } else                 {                     iLastStep = m_iStopwordStep;                 }

处 理完该词后，如果是中文的话还会进一步去判断其是否有近义词出现，。。。，最后将所有的sWord的信息tHit都放入到m_dHits中去,形成我们的词 索引spp索引.

当该iField索引字段全部都索引完成后，在dHit中添加结束标记!

 

摘自：http://frankiewb.blog.51cto.com/8202664/1359897