状态机学习(四)解析四则运算式 词法分析

#include <string>
#include <iostream>
using namespace std;

char* testStr = "12+345-6*8/9";

typedef enum {
BAD_TOKEN,
NUMBER_TOKEN,
ADD_OPERATOR_TOKEN,
SUB_OPERATOR_TOKEN,
MUL_OPERATOR_TOKEN,
DIV_OPERATOR_TOKEN,
END_OF_LINE_TOKEN
} TokenKind;

typedef struct {
TokenKind kind;
unsigned value;
string s;
} Token;

typedef enum {
INITIAL_STATUS,
IN_INT_PART_STATUS
} LexerStatus;
//==========================================

static size_t gParseIndex = 0;

bool GetToken(Token& token,const string& strContent) {
LexerStatus status = INITIAL_STATUS;
token.kind = BAD_TOKEN;
char currentChar = '\0';
size_t numBegIndex = 0;
size_t numEndIndex = 0;
while (gParseIndex < strContent.size())
{
//数字状态跳出
if(status == IN_INT_PART_STATUS &&
!isdigit(strContent[gParseIndex]) ) {
numEndIndex = gParseIndex;
token.kind = NUMBER_TOKEN;
token.s = strContent.substr(numBegIndex, numEndIndex- numBegIndex);
return true;
}
// 空格略过 换行结束函数
if (isspace(strContent[gParseIndex])) {
if (strContent[gParseIndex] == '\r' ||
strContent[gParseIndex] == '\n') {
token.kind = END_OF_LINE_TOKEN;
return true;
}
else {
gParseIndex++;
continue;
}
}

if (isdigit(strContent[gParseIndex])) {
if (status != IN_INT_PART_STATUS) {
status = IN_INT_PART_STATUS;
numBegIndex = gParseIndex;
}
gParseIndex++;
continue;
}

if (strContent[gParseIndex] == '+') {
token.kind = ADD_OPERATOR_TOKEN;
token.s = strContent[gParseIndex];
gParseIndex++;
return true;
}
else if (strContent[gParseIndex] == '-') {
token.kind = SUB_OPERATOR_TOKEN;
token.s = strContent[gParseIndex];
gParseIndex++;
return true;
}
else if (strContent[gParseIndex] == '*') {
token.kind = MUL_OPERATOR_TOKEN;
token.s = strContent[gParseIndex];
gParseIndex++;
return true;
}
else if (strContent[gParseIndex] == '/') {
token.kind = DIV_OPERATOR_TOKEN;
token.s = strContent[gParseIndex];
gParseIndex++;
return true;
}

cerr << "Parse Error " << endl;
token.kind = BAD_TOKEN;
return false;
}
// 最后结尾 检查是否数字字符串状态需要跳出
if (status == IN_INT_PART_STATUS &&
gParseIndex == strContent.size()) {
numEndIndex = gParseIndex;
token.kind = NUMBER_TOKEN;
token.s = strContent.substr(numBegIndex, numEndIndex - numBegIndex);
return true;
}

token.kind = END_OF_LINE_TOKEN;
return true;
}

#define TEST_MACRO
#ifdef TEST_MACRO


void ParseLinetest(string s) {
Token token;
gParseIndex = 0;
while (1) {
if (GetToken(token, s)) {
if (token.kind == END_OF_LINE_TOKEN) {
break;
}
else {
cout << "kind = " << token.kind
<< ", str = " << token.s << endl;
}
}

}
}


int main()
{
ParseLinetest(testStr);
return 0;
}

 

posted on   itdef  阅读(450)  评论(0编辑  收藏  举报

编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
· 25岁的心里话

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

点击右上角即可分享
微信分享提示