ANTLR 简介

《ANTLR 4权威指南》由机械工业出版社出版，有兴趣的读者推荐购买阅读。

本专题大多内容来源于我读《ANTLR 4权威指南》的随手笔记以及个人实践，仅供参考学习，请勿用于任何商业用途，后果自负，如涉及侵权或有错误之处，及时 联系本人 。

官网： https://www.antlr.org/
文档： ANTLR 4 Documentation
GitHub： https://github.com/antlr/antlr4
语法例子： https://github.com/antlr/grammars-v4

另外参考：

• 《ANTLR 4 权威指南》学习笔记： https://github.com/kun-song/the-definitive-antlr4-reference
• 《ANTLR 4 权威指南》源代码： https://github.com/GaoGian/ANTLR-4-Resource-Code

序文

ANTLR能够解决别的工具无法解决的问题。

软件改变了世界。数十年来，信息化的浪潮在全球颠覆着一个又一个的行业。然而，整个世界的信息化程度还远未达到合理的高度，还有大量传统行业的生产力可以被信息化所解放。在这种看似矛盾的情形背后存在着一条鸿沟：大量从事传统行业的人员拥有在本行业中无与伦比的业务知识和经验，却苦于跟不上现代软件发展的脚步。解决这个问题的根本方法就是DSL(Domain specific Language)，让传统行业的人员能够用严谨的方式与计算机对话。其实，本质上任何编程语言都是一种DSL，殊途同归。

实现DSL的主要困难就在编译器前端。幸运的是，ANTLR的出现使这个过程变得易如反掌。 ANTLR能够根据用户定义的语法文件自动生成词法分析器和语法分析器，并将输入文本处理为(可视化的)语法分析树。

这一切都是自动进行的, 所需的仅仅是一份描述该语言的语法文件。

ANTLR自动生成的编译器前端高效、准确，能够将开发者从繁杂的编译理论中解放岀来，集中精力处理自己的业务逻辑。 ANTLR4引入的自动语法分析树创建与遍历机制，极大地提高了语言识别程序的开发效率。

本专题适用于对语言识别程序的开发感兴趣的工程师。不过，假如你现在没有这样的需求，仍然建议你阅读，因为它能够开拓你的眼界，加深对编程语言的理解。

应用

ANTLR被广泛用于学术界、工业界：

• twitter搜索用ANTLR做语法分析
• Hadoop中的 Hive 是基于ANTLR的
• Netbeas IDE用ANTLR解析C++
• Hibernate用ANTLR处理HQL语言
• Spark SQL 使用ANTLR4将SQL语句解析成语法树，进而生成逻辑计划LogicPlan
• ......

个人可以用ANTLR创建使用工具，例如：

• 配置文件读取器
• 遗留代码转换器
• JSON 解析器
• ......

ANTLR可根据语法自动创建语法分析器，大大降低了开发语言识别应用的难度。

一些企业内部可能也会使用到ANTLR，我上家公司内部就定义了一套对使用者相对友好的查询语法，用ANTLR4解析这种自定义语法的查询语句，然后再转成Elasticsearch Query DSL、OpenTSDB Query等，从而降低了使用其他中间件的复杂度，也更有利于软件产品化。

为什么不花5天时间编程，来使你25年的生活自动化呢？

由于ANTLR能够自动生成语法分析树和树的遍历器,在ANTLR4中,你无须再编写树语法，取而代之的是一些广为人知的设计模式，如访问者模式(Visitor Pattern)等。

这意味着，掌握了ANTLR这个强大的武器，你就可以重回自己熟悉的Java领域来实现真正的语言类应用程序。

主要内容

《ANTLR 4权威指南》由四部分组成：

• 第一部分介绍了ANTLR，提供了一些与语言相关的背景知识，并展示了ANTLR的一些简单应用。在这一部分中，你会了解ANTLR的句法以及主要用途。

• 第二部分是一部有关设计语法和使用语法来构建语言类应用程序的“百科全书”

• 第三部分展示了自定义ANTLR生成的语法分析器的错误处理机制的方法。随后，你会学到在语法中嵌入动作的方法——在某些场景下，这样做比建立树并遍历之更简单，也更有效率。此外，你还将学会使用语义判定(semantic predicate)来修改语法分析器的行为，以便解决一些充满挑战的识别难题，例如识别XML和Python中的上下文相关的换行符。

• 第四部分是参考章节，详细列出了ANTLR语法元语言的所有规则和ANTLR运行库的用法。