摘要:
经过今天的摸索,终于完成了首都之窗信件的爬取代码,昨天的代码共有两处错误导致无法达到爬取目的。 page.addTargetRequests(page.getHtml().link().regex().all());应该为:page.addTargetRequests(page.getHtml(). 阅读全文
摘要:
今天继续学习webmagic 已经可以爬取出目录和跳转去信件的页面,不知道是一直有还是后来加的,现在好像多了哥跳转中页面,目录给的链接不是直接的信件页面,所以我还需要再加一条爬取跳转中页面的提供的url然后访问,才可以爬取信件内容,但是不知道是正则表达式的问题还是什么,总之爬取不到想要的url一直是 阅读全文
摘要:
今天继续学习webmagic爬虫 通过老师给的学习资料学习后,对webmagic爬虫基本有了了解,当时对site方法有点模糊,今天也终于搞明白了,感觉就像模拟了一个用户一样,对一个网站的框架还是不是很了解,所以还是不太理解,那些cookie,host,UserAgent,和header是什么,不过我 阅读全文
摘要:
今天继续学习webmagic爬虫技术,组件包含: 1.Downloader Downloader负责从互联网上下载页面,以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面,抽取有用信息,以及 阅读全文
摘要:
无可奈何,昨天的问题无法解决,只能把从安装spark重新开始,下载和作者相同的版本,版本如下: 暂时还没有找到,今天还学习了,webmagic爬虫,进行了环境的配置。 作者给的 wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic 阅读全文
摘要:
安装教程下载spark与eclipse连接插件一直报错host not found,是因为虚拟机的问题,上不去那个下载网址吗? 今天还学习了eclipse爬虫,但是虚拟机在下载插件,没有去配置,只能看,不能练,发现爬虫都是根据url,和XPath、正则表达式和CSS选择器来进行爬区,还有一些间隔,等 阅读全文
摘要:
Scala安装 sudo tar -zxf ~/下载/scala-2.11.8.tgz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./scala-2.11.8/ ./scala # 将文件夹名改为scala sudo chown -R 阅读全文
摘要:
昨天那个并不是正确的,我换回来后突然好了。 阅读全文
摘要:
昨天的下载完成后运行报错,应该是下载的spark版本和教程不符合,然后pom.xml文件中的spark-core内容而应该不同,但是我还是用的教程导致,现在正在尝试安装教程给的网站找的内容又下载中,不知道这次又要下载多久。(我下载的是spark 2.4.4) <?xml version="1.0" 阅读全文
摘要:
继昨天 运行成功 大数据原理与应用 第十六章 Spark 学习指南 今天进行Java独立应用编程 1.安装maven sudo unzip ~/下载/apache-maven-3.3.9-bin.zip -d /usr/local cd /usr/local sudo mv apache-maven 阅读全文