使用objective-c和javaScript做简单的网络爬虫
前几天，一位做健康类SEO优化的朋友叫我把网页上的文字和链接搞下来，所以就抱着试试的心态去搞搞，反正试了又不会怀孕。首先做这各你首先得要知道什么是DOM和懂一些javascript，关于这方面的教程就不在这里介绍了。可以看这里廖雪峰javascript教程 和W3CSchool。
好了，我要爬得链接为：百度搜素的关键字:“健康减肥”。我要拿到的是搜索的结果的文字和点击的超链接地址（需求为前5000条数据），如图所示:
接下来，使用Firefox的插件firebug调试工具来查看网页的源代码，经仔细观察(次步骤一定要耐心自信^_^,否则没法往下做)，发现搜索的结果均在这个节点里里面<div id="content_left">，如图所示：
好了，知道了自己需要查找的内容在哪，接下来就用用js代码来筛选我们需要的内容了。首先我们把刚刚的那个网页下载下来，保存到本地，然后在body(一定要保证在</body>添加)的最后添加如下代码。<script src="script.js"></script>,如图：
下一步，新建一个一个与这个html同一目录下的js文件script.js,添加如下代码
var leftContent = document.getElementById('content_left');//获取id为content_left标签 var results = leftContent.getElementsByTagName('h3');//经观察，所有的链接都放在h3标签中 var string = ""; for (var i = 0; i < results.length; i++) { var node = results[i]; var nodeA = node.getElementsByTagName('a')[0];//没啥的，观察出来的规律 string += nodeA.innerHTML + "这是一个字符串分割标识" +nodeA.href + "<br>" + "<br>" + "<br>" ; //"这是一个字符串分割标识"和"<br><br><br>"是分割标识字符串,稍后在oc代码中阐述 }; document.body.innerHTML = "";//清空原来的内容 document.body.innerHTML = string;//添加新内容
很好，接下来，打开刚刚保存的html文件，是不是网页内容变了，变了就对了。下一步的任务，就是把这些内容写到xml文件或者新德html文件里面。
重头戏准备来了，接下新建一个Xcode的singleViewApplication程序，在Main.storyboard拖一个UIWebView，并让控制器引用它，并把刚刚写好的script.js文件添加到工程中，如图所示:
在ViewController.m添加如下代码，
#import "ViewController.h" #import "BaiduModel.h" @interface ViewController ()<UIWebViewDelegate> { int _page; NSString *_path; NSMutableArray *_totalArray; NSTimer *_timer; } @property (weak, nonatomic) IBOutlet UIWebView *webView; @end @implementation ViewController - (void)viewDidLoad { [super viewDidLoad]; _page = 0; _totalArray = [NSMutableArray array]; NSTimer *timer = [NSTimer scheduledTimerWithTimeInterval:5.0 target:self selector:@selector(runTimeAction) userInfo:nil repeats:YES]; _timer = timer;//至于这里为什么使用定时器加载，因为我发现不用定时器，加载过快会被百度服务器屏蔽 } //加载链接 - (void)loadRequest { [self.webView loadRequest:[NSURLRequest requestWithURL:[NSURL URLWithString:_path]]]; } #pragma mark - 网页加载完毕回调方法，这个时候执行js脚本和保存数据 - (void)webViewDidFinishLoad:(UIWebView *)webView { NSString *scriptPath = [[NSBundle mainBundle] pathForResource:@"script" ofType:@"js"]; NSString *script = [NSString stringWithContentsOfFile:scriptPath encoding:NSUTF8StringEncoding error:nil]; NSString *letfContent = [webView stringByEvaluatingJavaScriptFromString:script]; //返回为id=runTimeAction元素的字符串 if (letfContent.length) { [self convertToModels:letfContent];//转成模型并且保存到_totalArray中 } } #pragma mark转成模型并且保存到_totalArray中 - (void )convertToModels:(NSString *)str { //<br><br><br>和“这是一个字符串分割标识”可以script脚本里面找到,作为分隔字符串的标识 NSArray *modelStrArr = [str componentsSeparatedByString:@"<br><br><br>"]; for (NSString *modelStr in modelStrArr) { NSArray *theModelStr = [modelStr componentsSeparatedByString:@"这是一个字符串分割标识"]; BaiduModel *baidu = [[BaiduModel alloc] init]; baidu.title = theModelStr.firstObject; baidu.url = theModelStr.lastObject; [_totalArray addObject:baidu];//添加到大数组中 } } - (void)runTimeAction { NSString *keyWord = @"%E5%81%A5%E5%BA%B7%E5%87%8F%E8%82%A5";//"健康减肥"关键字为加了百分号编码后的字符串 NSString *oq = @"%E5%81%A5%E5%BA%B7%E5%87%8F%E8%82%A5"; NSString *rsv_t = @"4c24%2BJ96BhSoWjwj4WADhDN6Po%2FOIC5AqnhkmmjfltO5TbZ8YmjxqZjZxrsw7ILy9sBo"; NSString *path = [NSString stringWithFormat:@"https://www.baidu.com/s?wd=%@&pn=%d&oq=%@&tn=baiduhome_pg&ie=utf-8&usm=3&rsv_idx=2&rsv_pq=d0bafbb000053f45&rsv_t=%@",keyWord,_page,oq,rsv_t]; /* *其中参数wd为搜索关键字,pn为分页参数，其他有几个参数不知道什么鬼意思,反正不管它就是了,别动它就是，否则他会适应手机屏幕而得不到合适的结果 */ _path = path; _page += 10; [self loadRequest]; if (_totalArray.count>5000) {//只爬5000条左右数据 [_timer invalidate]; //归档 [self writeToFile]; NSLog(@"归档完成！！！！！！！！！！！！！！！！！！！"); } } - (void)writeToFile { NSMutableArray *arrM = [NSMutableArray array]; for (BaiduModel *baidu in _totalArray) { NSMutableDictionary *dict = [NSMutableDictionary dictionary]; [dict setObject:baidu.title forKey:@"title"]; [dict setObject:baidu.url forKey:@"url"]; [arrM addObject:dict]; } [arrM writeToFile:@"/Users/liwenshen/Desktop/today/reptile.plist" atomically:YES]; } @end
当然你也可以生成html字符串，拷贝到html文件中，代码如下:
- (void)generateHtml { NSString *htmlHeader = @"<!DOCTYPE html><html><head><meta charset=\"utf-8\"></meta></head><body>"; NSString *htmlFooter = @"</body></html>"; NSMutableString *strM = [NSMutableString stringWithString:htmlHeader]; for (BaiduModel *b in _totalArray) { NSString *a = [NSString stringWithFormat:@"<a href=\"%@\">%@</a><br>",b.url,b.title]; [strM appendString:a]; } [strM appendString:htmlFooter]; NSLog(@"%@",strM); }
好了，终于写完了，有不懂的可以给我留言，当然做爬虫最好的是选用java，Python等语言，有很多对应的库,同时，你也可以保存到数据库中。学会这个，你可以去交友网站，把所有的妹子都爬下来，嘻嘻。接下来，欣赏一下爬虫出来的结果:
