百度百科简介爬取（含源代码、信息领域词频数据csv格式）

百度百科特征：

https://baike.baidu.com/item/+“信息”

切记不要在要查找的字后面加‘/’ 

简介代码XPATH：

String htmls=page.getHtml().xpath("//div[@class='lemma-summary']/html()").get();

下面是所有的代码：

很简单，可有很快应用到系统中：

package Pa;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;


public class 百度百科 implements PageProcessor{

    public static List<String> titles;
    
    public static int i=0;
    public static List<String> words=new ArrayList<String>();
    @Override
    public Site getSite() {
        return Site.me().setSleepTime(1000).setRetryTimes(10);
    }

     //jsoup根据html字符串和语法来获取内容
    private static String selectDocumentText(String htmlText) {
        Document doc=Jsoup.parse(htmlText);
        String select=doc.text();
        System.out.println(select);
        return select;
    }
    
    
    @Override
    public void process(Page page) {
        //定义如何抽取页面信息
        /*List<String> htmls=page.getHtml().xpath("//div[@class='lemma-summary']/html()").all();
        for(String html:htmls) {
        String mean=selectDocumentText(html);
        String word=words.get(i);
        System.out.println(word+":"+mean);
        }
        */
        
        String htmls=page.getHtml().xpath("//div[@class='lemma-summary']/html()").get();
        
        String mean=selectDocumentText(htmls);
        
        System.out.println(mean);
        
        
        
        i=i+1;
        
    }
    public static void main(String[] args) {
    long startTime,endTime;
    startTime=new Date().getTime();
    Spider create=Spider.create(new 百度百科());
     words.add("信息");
     String strr="https://baike.baidu.com/item/技术";
     create.addUrl(strr).thread(5).run();
     endTime=new Date().getTime();
     System.out.println("用时为："+(endTime-startTime)/1000+"s");

   }
}

 

数据下载：

样例：

 

 下载地址：

链接：https://pan.baidu.com/s/1K5vR8_wNBmAYNvhMCwoAqg
提取码：yse9
复制这段内容后打开百度网盘手机App，操作更方便哦