使用phpspider抓取网站文章

本示例使用phpspider作为爬虫，抓取了华尔街见闻部分栏目文章，下面是具体的实现过程。

phpspider 文档：https://doc.phpspider.org/demo-start.html

第一步：使用composer下载phpspider,命令如下：

composer require owner888/phpspider

生成的composer.json文件内容如下

{
    "require": {
        "owner888/phpspider": "^2.1"
    }   
}

第二步：在composer.json文件的同级目录下，创建spider.php脚本文件，内容如下：

<?php
require './vendor/autoload.php';

use phpspider\core\phpspider;
/* Do NOT delete this comment */
/* 不要删除这段注释 */
//看了一下源代码，作者将这注释写到构造函数中了，所以尊重作者意愿，没有去掉，去掉会报错。
$configs = array(
    'name' => '华尔街日报',
    'domains' => array(
        'wallstreetcn.com',
    ),
    'scan_urls' => array(
        'http://wallstreetcn.com/'   //华尔街见闻网址
    ),
    'content_url_regexes' => array(
        "http://wallstreetcn.com/articles/\d+"    //华尔街见闻网站文章url模式
    ),
    'fields' => array(
        array(
            // 抓取内容页的文章内容
            'name' => "article_content",
            'selector' => "//*[@class='node-article-content']",   //文章内容区域class
            'required' => true
        ),
            // 抓取内容页的文章题目
        array(
                'name'=>'article_title',
                'selector'=>"//*[@class='article__heading__title']",   //文章题目区域class
                'required'=>true
        ),
        //抓取内容页文章时间
        array(
                'name'=>'article_time',
                'selector'=>"//*[@class='meta-item__text']",     //文章发布时间区域class
                'required'=>true
        ),
    ),
        //脚本输出类型，输出到数据库
        'export'=>array(
                'type'=>'db',
                'table'=>'articles'  //存放文章的数据表
        ),
        //数据库连接配置
        'db_config'=>array(
                'host'=>'127.0.0.1',
                'port'=>3306,
                'user'=>'mysql',  //连接数据库的用户名,根据自己环境定义
                'pass'=>'123456',  //连接数据库的密码，根据自己环境定义
                'name'=>'test'   //存放的数据库
        ),

);


$spider = new phpspider($configs);
$spider->start();

第三步：创建文章表articles，SQL语句如下：

mysql> show create table articles \G
*************************** 1. row ***************************
       Table: articles
Create Table: CREATE TABLE `articles` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `article_content` text NOT NULL,
  `article_title` varchar(255) NOT NULL DEFAULT '',
  `article_time` varchar(64) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

mysql>

第四步：命令行下运行脚本spider.php
php spider.php

如下图示：

速度还可以，只开启一个任务，三分钟左右就抓取了100文章，如果觉得慢，可以多开几个任务，在spider.php中config数组中配置

注意第一次测试的时候，articles表中article_content使用的类型是varchar,入库后发现文章内容都被截断了，只有部分，后来改为text类型就完整存放下了。
下面是数据抓取入库后的部分截图：