__RTC_CheckEsp 等 C Rumtime问题

昨天我在调试板卡的DEMO的时候发现编译不成功.出现了__RTC等的运行库问题。

原来是他们给的DEMO是用VS2008写的，然后又只给了VC6的工程，并且未给VC6下的库，只给了VC9下的库！！！

不过通过这次问题，以后出现C Rumtime问题我就有了一定的了解。现转载两篇文章如下!在VC6中没有找到C Rumtime的设置选项，只好在VS2005上调试，发现灰常之不习惯！！！！！！！

VC7/VC8开发的库在VC6中的使用问题--转载

现在，微软一些新的SDK基本上都是用VC7/VC8（即VS .NET 2003/VS 2005）来开发的，当我们用VC6使用这些库的Debug版本时就会发生链接错误，对于我们自己用VC7/VC8开发静态库或动态库也存在同样的问题，这主要是由于VC7/VC8使用了不同的调试信息格式以及增加了一些安全检测机制造成的。

我们可以在VC7/VC8中修改一下工程的配置信息使其能够被VC6使用，具体操作如下：

1. 打开工程设置界面，选择C/C++属性页，将“常规(General) -> 调试信息格式(Debug Information Format)” 改为“禁用(Disabled)”。

如果不进行此处修改，VC6在链接时将出现如下错误：

fatal error LNK1103: debugging information corrupt; recompile module

2. 将“代码生成(Code Generation) -> 基本运行时检查(Basic Runtime Checks)”改为“默认(Default)”。

如果不进行此处修改，VC6在链接时将出现如下错误：

error LNK2001: unresolved external symbol __RTC_Shutdown
error LNK2001: unresolved external symbol __RTC_InitBase
error LNK2001: unresolved external symbol __RTC_CheckEsp
error LNK2001: unresolved external symbol @_RTC_CheckStackVars@8
error LNK2001: unresolved external symbol __RTC_UninitUse

3. 将“代码生成(Code Generation) -> 缓冲区安全检查(Buffer Security Check)”改为“否(No)”。

如果不进行此处修改，VC6在链接时将出现如下错误：

error LNK2001: unresolved external symbol ___security_cookie
error LNK2001: unresolved external symbol @__security_check_cookie@4

经过上述修改后，实际上生成的Debug版本已经不含调试信息了，因此我们也可以让VC6下的Debug版直接使用VC7/VC8编译的Release版，不过要注意修改Release版的运行期库类型，使其与VC6一致。

我在上篇文章举了一个简单的C++程序非常简略的解释C++代码和汇编代码的对应关系，在后面的文章中我将按照不同的Topic来仔细介绍更多相关的细节。虽然我很想一开始的时候就开始直接介绍C++和汇编代码的对应关系，不过由于VC编译器会在代码中插入各种检查，SEH，C++异常等代码，因此我觉得有必要先写一下一些在阅读VC生成的汇编代码的时候常见的一些东西，然后再开始具体的分析C++代码的反汇编。这篇文章会首先涉及到运行时检查（Runtime Checking）

Runtime Checking

运行时检查是VC编译器提供了运行时刻的对程序正确性/安全性的一种动态检查，可以在项目的C++选项中打开Small Type Check和Basic Runtime Checks来启用Runtime Check。

同时，也可以使用/RTC开关来打开检查，/RTC后面跟c, u, s代表启用不同类型的检查。Smaller Type Check对应/RTCc, Basic Runtime Checks对应/RTCs和/RTCu。

/RTCc开关

RTCc开关可以用来检查在进行类型转换的保证没有不希望的截断（Truncation）发生。以下面的代码为例：

char ch = 0;

short s = 0x101;

ch = s;

当VC执行到ch = s的时候会报告如下错误：

原因是0x101已经超过了char的表示范围。

之前会导致错误地的代码对应的汇编代码如下所示：

; 42 : char ch = 0;

mov BYTE PTR _ch$[ebp], 0

; 43 : short s = 0x101;

mov WORD PTR _s$[ebp], 257 ; 00000101H

; 44 : ch = s;

mov cx, WORD PTR _s$[ebp]

call @_RTC_Check_2_to_1@4

mov BYTE PTR _ch$[ebp], al

可以看到，赋值的时候，VC编译器先将s的值放到cx寄存器中，然后调用_RTC_Check_2_to_1@4函数来检查是否有数据截断的问题，结果放在al中，最后将al放到ch之中。_RTC_Check_2_to_1@4顾名思义是检查2个byte的数据被转换成1个byte的数据（short是2个byte，char是一个byte），代码如下：

_RTC_Check_2_to_1:

00411900 push ebp

00411901 mov ebp,esp

00411903 push ebx

00411904 mov ebx,ecx

00411906 mov eax,ebx

00411908 and eax,0FF00h

0041190D je _RTC_Check_2_to_1+24h (411924h)

0041190F cmp eax,0FF00h

00411914 je _RTC_Check_2_to_1+24h (411924h)

00411916 mov eax,dword ptr [ebp+4]

00411919 push 1

0041191B push eax

0041191C call _RTC_Failure (411195h)

00411921 add esp,8

00411924 mov al,bl

00411926 pop ebx

00411927 pop ebp

00411928 ret

1. 00411904~00411906：ecx保存着s的值，然后又被转移到eax中。

2. 00411908~0041190D：检查eax和0xff00相与，并检查是否结果为0，如果结果为0，说明这个short值是0或者<128的正数，没有超过范围，直接跳转到00411924获得结果并返回

3. 0041190F~00411914：检查eax是否等于0xff00，如果相等，说明这个short值是负数，并且>=-128，在char的表示范围之内，可以接受，跳转到00411924

4. 如果上面检查都没有通过，说明这个值已经超过了范围，调用_RTC_Failure函数报错

要解决这个问题，很简单，把代码改为下面这样就可以了：

char ch = 0;

short s = 0x101;

ch = s & 0xff;

/RTCu开关

这个开关的作用是打开对未初始化变量的检查，比静态的警告要有用一些。考虑下面的代码：

int a;

char ch;

scanf("%c", &ch);

if( ch = 'y' ) a = 10;

printf("%d", a);

编译器无从通过Flow Analysis知道a在printf之前是否被正确初始化，因为a = 10这个分支是由外部条件决定的，所以只有动态的监测方法才可以知道到底程序有没有Bug（当然从这里我们可以很明显的看出这个程序必然是有Bug的）。显然把变量的值和一个具体值来比较是无法知道变量是否被初始化的，所以编译器需要通过一个额外的BYTE来跟踪此变量是否被初始化：

函数的开始代码如下：

push ebp

mov ebp, esp

sub esp, 228 ; 000000e4H

push ebx

push esi

push edi

lea edi, DWORD PTR [ebp-228]

mov ecx, 57 ; 00000039H

mov eax, -858993460 ; ccccccccH

rep stosd

mov BYTE PTR $T5147[ebp], 0

最后一句很关键，把$T5147变量的值设置为0，表示并没有初始化a这个变量。

当ch = ‘y’的时候，编译器除了执行a=10之外还会将$T5147设置为1

mov BYTE PTR $T5147[ebp], 1

mov DWORD PTR _a$[ebp], 10 ; 0000000aH

之后，在printf之前，编译器会检查$T5147这个变量的值，如果为0，说明没有初始化，执行__RTC_UninitUse报告错误，否则跳转到相应代码执行printf语句：

cmp BYTE PTR $T5147[ebp], 0

jne SHORT $LN4@wmain

push OFFSET $LN5@wmain

call __RTC_UninitUse

add esp, 4

$LN4@wmain:

mov esi, esp

mov eax, DWORD PTR _a$[ebp]

push eax

push OFFSET ??_C@_02DPKJAMEF@?$CFd?$AA@

call DWORD PTR __imp__printf

add esp, 8

cmp esi, esp

call __RTC_CheckEsp

/RTCs开关

这个开关是用来检查和Stack相关的问题：

1. Debug模式下把Stack上的变量初始化为0xcc，检查未初始化的问题

2. 检查数组变量的Overrun

3. 检查ESP是否被毁坏

Debug模式下初始化变量为0xcc

假设我们有下面的代码：

void func()

{

int a;

int b;

int c;

}

对应的汇编代码如下：

?func@@YAXXZ PROC ; func, COMDAT

; 38 : {

push ebp

mov ebp, esp

sub esp, 228 ; 000000e4H

push ebx

push esi

push edi

lea edi, DWORD PTR [ebp-228]

mov ecx, 57 ; 00000039H

mov eax, -858993460 ; ccccccccH

rep stosd

; 39 : int a;

; 40 : int b;

; 41 : int c;

; 42 :

; 43 : }

pop edi

pop esi

pop ebx

mov esp, ebp

pop ebp

ret 0

?func@@YAXXZ ENDP

1. sub esp, 228：s编译器为栈分配了228个byte

2. 接着3个push指令保存寄存器

3. Lea edi, DWORD PTR [ebp-228]一直到repstosd指令是初始化从ebp-228开始写57个0xcccccccc，也就是57*4=228个0xcc，正好填满之前sub esp, 228所分配的空间。这段代码会把所有的变量初始化为0xcc。

选择0xcc是有一定理由的:

1. 0xcc不同于一般的初始化值，人们一般倾向于把变量初始化为0, 1, -1等比较简单的值，而0xcc一般情况下足够大，而且是负数，容易引起注意，而且一般变量的值很有可能不允许是0xcc，比较容易造成错误

2. 0xcc = int 3，如果作为代码执行，则会引发断点异常，比较容易引起注意

检查数组变量的Overrun

假设我们有下面的代码：

void func

{

char buf[104];

scanf("%s", buf);

return 0;

}

在scanf调用之后，会执行下面的代码：

mov ecx, ebp

push eax

lea edx, DWORD PTR $LN5@wmain

call @_RTC_CheckStackVars@8

这段代码会调用_RTC_CheckStackVars@8函数会在数组的开始和结束的地方检查0xcccccccc有否被破坏，如果是，则报告错误。_RTC_CheckStackVars由于代码过长这里就不给出了，这个函数主要是利用编译器保存的数组位置和长度信息，检查数组的开头和结尾：

$LN5@func:

DD 1

DD $LN4@func

$LN4@func:

DD -112 ; ffffff90H

DD 104 ; 00000068H

DD $LN3@func

$LN3@func:

DB 98 ; 00000062H

DB 117 ; 00000075H

DB 102 ; 00000066H

DB 0

$LN5@func纪录了数组的个数，而$LN4@func保存了数组的偏移量ebp - 112和数组的长度104，而$LN3@func则保存了变量的名称（0x62, 0x75, 0x66, 0 = “buf”）。

检查ESP

ESP的错误很有可能是由调用协定的mistach造成，或者Stack本身没有平衡。编译器会在调用其他函数和在函数Prolog和Epilog（开始和结束代码）的时候插入对ESP的检查：

1. 在调用其他外部函数的时候：

假设我们有下面的代码：

printf( "%d", 1 );

对应的汇编代码如下：

mov esi, esp

push 1

push OFFSET ??_C@_02DPKJAMEF@?$CFd?$AA@

call DWORD PTR __imp__printf

add esp, 8

cmp esi, esp

call __RTC_CheckEsp

可以看到检查的代码非常简单直接，把ESP保存在ESI之中，当调用printf，平衡堆栈之后，检查esp和esi的是否一致，然后调用__RTC_CheckESP，__RTC_CheckESP代码也很简单：

_RTC_CheckEsp:

00412730 jne esperror (412733h)

00412732 ret

esperror:

……

00412744 call _RTC_Failure (411195h)

……

00412754 ret

如果不一致，跳转到esperror标号报告错误。

2. 函数返回的时候：

以下面的代码为例：

void func()

{

__asm

{

push eax

}

Func函数故意push eax来破坏堆栈的平衡性，对应的汇编代码如下：

?func@@YAXXZ PROC ; func, COMDAT

; 38 : {

push ebp

mov ebp, esp

sub esp, 192 ; 000000c0H

push ebx

push esi

push edi

lea edi, DWORD PTR [ebp-192]

mov ecx, 48 ; 00000030H

mov eax, -858993460 ; ccccccccH

rep stosd

; 39 : __asm

; 40 : {

; 41 : push eax

push eax

; 42 : }

; 43 : }

pop edi

pop esi

pop ebx

add esp, 192 ; 000000c0H

cmp ebp, esp

call __RTC_CheckEsp

mov esp, ebp

pop ebp

ret 0

?func@@YAXXZ ENDP

在函数的初始化代码中，func会将ebp保存在Stack中，并且把当前esp保存在ebp中。

?func@@YAXXZ PROC ; func, COMDAT

push ebp

mov ebp, esp

关键的检查代码在后面，当func函数恢复了堆栈之后，堆栈会恢复到之前刚保存esp到ebp的那个状态，这个时候ebp必然等于esp，否则出错

cmp ebp, esp

call __RTC_CheckEsp

mov esp, ebp

pop ebp

ret 0

?func@@YAXXZ ENDP

出错的时候显示的对话框如下：

OK，这次就写到这里。下面几篇文章预定会写到下面这些内容：

1. /GS & Security Cookie

2. Calling Conventions

3. Name Mangling

4. Structured Exception Handling

5. Passing by Reference

6. Member functions

7. Object layout

8. Virtual functions

9. Virtual Inheritance

10. C++ Exceptions

11. Templates

敬请关注。

作者: ATField
Blog: http://blog.csdn.net/atfield
转载请注明出处

posted @ 2012-11-13 09:58 zhiweiyouzhishenghuo 阅读(741) 评论(0) 编辑收藏举报

刷新页面返回顶部

__RTC_CheckEsp 等 C Rumtime问题

VC7/VC8开发的库在VC6中的使用问题--转载

Runtime Checking

/RTCc开关

/RTCu开关

/RTCs开关

Debug模式下初始化变量为0xcc

检查数组变量的Overrun

检查ESP

公告