字符串分割函数strtok（线程不安全）,线程安全函数strtok_r
strtok_r函数---字符串分割函数
函数原型：
char *strtok_r(char *str, const char *delim, char **saveptr);
参数：
str：被分割的字符串，若str为NULL，则被分割的字符串为*saveptr
delim：依据此字符串分割str
saveptr：分割后剩余部分的字符串
返回值：
遇到第一个delim时，分割出的字符串，若没有遇到delim，则范围NULL
例程：
int main(int argc,char* argv[])
{
char str[1024] = "this is a test!";
char *token;
char *saveptr;
token = strtok_r(str, " ", &saveptr);
printf("token:%s\n",token);
printf("saveptr:%s\n\n\n",saveptr);
token = strtok_r(saveptr, " ", &saveptr);
printf("token:%s\n",token);
printf("saveptr:%s\n",saveptr);
return 0;
}
结果：
3.strtok和strtok_r的源代码
这两个函数的实现，由众多的版本。我strtok_r来自于GNU C Library，strtok则调用了strtok_r。因此先给出strtok_r的源代码。
- /*
- * strtok_r.c:
- * Implementation of strtok_r for systems which don't have it.
- *
- * This is taken from the GNU C library and is distributed under the terms of
- * the LGPL. See copyright notice below.
- *
- */
- #ifdef HAVE_CONFIG_H
- #include "configuration.h"
- #endif /* HAVE_CONFIG_H */
- #ifndef HAVE_STRTOK_R
- static const char rcsid[] = "$Id: strtok_r.c,v 1.1 2001/04/24 14:25:34 chris Exp $";
- #include <string.h>
- #undef strtok_r
- /* Parse S into tokens separated by characters in DELIM.
- If S is NULL, the saved pointer in SAVE_PTR is used as
- the next starting point. For example:
- char s[] = "-abc-=-def";
- char *sp;
- x = strtok_r(s, "-", &sp); // x = "abc", sp = "=-def"
- x = strtok_r(NULL, "-=", &sp); // x = "def", sp = NULL
- x = strtok_r(NULL, "=", &sp); // x = NULL
- // s = "abc/0-def/0"
- */
- char *strtok_r(char *s, const char *delim, char **save_ptr) {
- char *token;
- if (s == NULL) s = *save_ptr;
- /* Scan leading delimiters. */
- s += strspn(s, delim);
- if (*s == '/0')
- return NULL;
- /* Find the end of the token. */
- token = s;
- s = strpbrk(token, delim);
- if (s == NULL)
- /* This token finishes the string. */
- *save_ptr = strchr(token, '/0');
- else {
- /* Terminate the token and make *SAVE_PTR point past it. */
- *s = '/0';
- *save_ptr = s + 1;
- }
- return token;
- }
代码整体的流程如下：
（1）判断参数s是否为NULL，如果是NULL就以传递进来的save_ptr作为起始分解位置；若不是NULL，则以s开始切分。
（2）跳过待分解字符串开始的所有分界符。
（3）判断当前待分解的位置是否为'/0'，若是则返回NULL（联系到（一）中所说对返回值为NULL的解释）；不是则继续。
（4）保存当前的待分解串的指针token，调用strpbrk在token中找分界符：如果找不到，则将save_ptr赋值为待分解串尾部'/0'所在的位置，token没有发生变化；若找的到则将分界符所在位置赋值为'/0'，token相当于被截断了（提取出来），save_ptr指向分界符的下一位。
（5）函数的最后（无论找到还是没找到）都将返回。
对于函数strtok来说，可以理解为用一个内部的静态变量将strtok_r中的save_ptr给保存起来，对调用者不可见。其代码如下：
- char *strtok(char *s, const char *delim)
- {
- static char *last;
- return strtok_r(s, delim, &last);
- }
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
strtok()用来将字符串分割成一个个片段。参数s指向欲分割的字符串，参数delim则为分割字符串中包含的所有字符。当strtok()在参数s的字符串中发现参数delim中包含的分割字符时,则会将该字符改为\0 字符。在第一次调用时，strtok()必需给予参数s字符串，往后的调用则将参数s设置成NULL。每次调用成功则返回指向被分割出片段的指针。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#include<string.h>#include<stdio.h>int main(void){ char input[16]="abc,d"; char*p; /*strtok places a NULL terminator infront of the token,if found*/ p=strtok(input,","); if(p) printf("%s\n",p); /*Asecond call to strtok using a NULL as the first parameter returns a pointer to the character following the token*/ p=strtok(NULL,","); if(p) printf("%s\n",p); return 0;} |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
#include<iostream>#include<cstring>using namespace std;int main(){ char sentence[]="This is a sentence with 7 tokens"; cout << "The string to be tokenized is:\n" << sentence << "\n\nThe tokens are:\n\n"; char *tokenPtr=strtok(sentence," "); while(tokenPtr!=NULL) { cout<<tokenPtr<<endl; tokenPtr=strtok(NULL," "); } //cout << "After strtok,sentence=" << tokenPtr<<endl; return 0;} |
