Clang Preprocessor 类的创建

参考：

Create a working compiler with the LLVM framework, Part 2

How to parse C programs with Clang: A tutorial

[Clang,libClang] exercise1 : FileManager

注意：此篇笔记各类之构造函数源码来自 llvm/clang doxygen 5.0.0 svn，与现行版本（此时为 3.9.1）有一定出入，其中主要是现行版本有些参数是 llvm::IntrusiveRefCntPtr（llvm 实现的 smart pointer）而不是 std::shared_ptr

一、Preprocessor 的构造函数

前端由许多部分组成，其中第一部分通常是一个 lexer，clang 中 Preprocessor 类是 lexer 的 main interface。出于性能考虑，clang 没有独立的预处理器程序，而是在 lexing 的过程中进行预处理。

Preprocessor 的构造函数如下所示：

Preprocessor::Preprocessor(
        std::shared_ptr<PreprocessorOptions>    PPOpts, // constructor: PreprocessorOptions()
        DiagnosticsEngine&                      diags,  
        LangOptions&                            opts,   // constructor: LangOptions()
                                                        // Keep track of the various options that can be enabled,
                                                        // which controls the dialect of C or C++ that is accepted
        SourceManager&                          SM,
        HeaderSearch&                           Headers,
        ModuleLoader&                           TheModuleLoader,
        IdentifierInfoLookup*                   IILookup = nullptr,
        bool                                    OwnsHeaderSearch = false,
        TranslationUnitKind                     TUKind = TU_Complete 
        )    

 

 DiagnosticsEngine ： 用来给用户报告错误和警告信息。构造函数如下：

DiagnosticsEngine::DiagnosticsEngine(
        IntrusiveRefCntPtr<DiagnosticIDs>   Diags,        // constructor: DiagnosticIDs()
                                                          // used for handling and querying diagnostic IDs
        DiagnosticOptions*                  DiagOpts,     // constructor: DiagnosticOptions()
                                                          // Options for controlling the compiler diagnostics engine
        DiagnosticConsumer*                 client = nullptr,
        bool                                ShouldOwnClient = true
        )

 

其中 DiagnosticConsumer 是一个抽象接口，由前端的 clients 实现，用来 formats and prints fully processed diagnostics。clang 内置一个 TextDiagnosticsConsumer 类，将错误和警告信息写到 console 上，clang binary 用的 DiagnosticConsumer 也是这个类。TextDiagnosticsConsumer 的构造函数如下：

TextDiagnosticPrinter::TextDiagnosticPrinter(
        raw_ostream&        os,        // llvm::outs() returns a reference to a raw_ostream for standard output
        DiagnosticOptions*  diags,
        bool                OwnsOutputStream = false  // within destructor:(OS is the member, initialized with os) 
                                                      // if (OwnsOutputStream) delete &OS
        )

 

 SourceManager ：handles loading and caching of source files into memory。构造函数如下：

SourceManager::SourceManager(vim 
        DiagnosticsEngine&  Diag,
        FileManager&        FileMgr,
        bool                UserFilesAreVolatile = false
        )

 

  FileManager ：实现了对文件系统查找、文件系统缓存、目录查找管理的支持。构造函数如下：

 

FileManager::FileManager(
        const FileSystemOptions&            FileSystemOpts,  // use default constructor
        IntrusiveRefCntPtr<vfs::FileSystem> FS = nullptr
        )

 

  HeaderSearch ：Encapsulates the information needed to find the file referenced by a #include or #include_next, (sub-)framework lookup, etc。构造函数如下：

HeaderSearch::HeaderSearch(
        std::shared_ptr<HeaderSearchOptions>    HSOpts,  // constructor: HeaderSearchOptions::HeaderSearchOptions(StringRef _Sysroot = "/")
        SourceManager&                          SourceMgr,
        DiagnosticsEngine&                      Diags,
        const LangOptions&                      LangOpts,
        const TargetInfo*                       Target
        )

 

 TargetInfo ：Exposes information about the current target。 其构造函数为 protected，因此需要调用工厂函数 static TargetInfo* TargetInfo::CreateTargetInfo(DiagnosticsEngine &Diags, const std::shared_ptr<TargetOptions>& Opts) ，其中 TargetOptions 类包含 target 的相关信息，如 CPU、ABI 等。类中有一个属性 Triple 用以定义 target 的架构。Triple 是一个 string，形如 i386-apple-darwin，通过 llvm::sys::getDefaultTargetTriple() 可以获得编译 llvm 的机器的 host triple。

ModuleLoader：描述了 module loader 的抽象接口。Module loader 负责解析一个 module name（如“std”），将其与实际的 module file 联系起来，并加载该 module。CompilerInstance 便是一个实现了该接口的 module loader。

二、通过 CompilerInstance 创建 Preprocessor

比起手写 Preprocessor，CompilerInstance 更加实用一些。CompilerInstance 主要有两个作用：（1）管理运行编译器所必须的各个对象，如 preprocessor、target information、AST context 等；（2）提供创建和操作常用 Clang 对象的有用方法。下面是其类定义的一部分：

class CompilerInstance : public ModuleLoader {
    /// The options used in this compiler instance.
    std::shared_ptr<CompilerInvocation> Invocation;
    /// The diagnostics engine instance.
    IntrusiveRefCntPtr<DiagnosticsEngine> Diagnostics;
    /// The target being compiled for.
    IntrusiveRefCntPtr<TargetInfo> Target;
    /// The file manager.
    IntrusiveRefCntPtr<FileManager> FileMgr;
    /// The source manager.
    IntrusiveRefCntPtr<SourceManager> SourceMgr;
    /// The preprocessor.
    std::shared_ptr<Preprocessor> PP;
    /// The AST context.
    IntrusiveRefCntPtr<ASTContext> Context;
    /// An optional sema source that will be attached to sema.
    IntrusiveRefCntPtr<ExternalSemaSource> ExternalSemaSrc;
    /// The AST consumer.
    std::unique_ptr<ASTConsumer> Consumer;
    /// The semantic analysis object.
    std::unique_ptr<Sema> TheSema;
    /// ...
};

 下列代码通过 CompilerInstance 来创建 Preprocessor：

#include <memory>
 
 #include "clang/Basic/LangOptions.h"
 #include "clang/Basic/TargetInfo.h"
 #include "clang/Frontend/CompilerInstance.h"
 
 int main() {
     clang::CompilerInstance ci; 
 
     ci.createDiagnostics();
 
     std::shared_ptr<clang::TargetOptions> pTargetOptions =
         std::make_shared<clang::TargetOptions>();
     pTargetOptions->Triple = llvm::sys::getDefaultTargetTriple();
     clang::TargetInfo *pTargetInfo =
         clang::TargetInfo::CreateTargetInfo(ci.getDiagnostics(), pTargetOptions);
     ci.setTarget(pTargetInfo);
 
     ci.createFileManager();
     ci.createSourceManager(ci.getFileManager());
     ci.createPreprocessor(clang::TU_Complete);
 
     return 0;
 }

首先创建 DiagnosticsEngine（通过 createDiagnostics()），然后创建并设置 TargetInfo，然后依次创建 FileManager（通过 createFileManager()），SourceManager（通过 createSourceManager (FileManager &FileMgr)），最后创建 Preprocessor（createPreprocessor(TranslationUnitKind)）。

三、FileManager 与 SourceManager

 FileManager：