摘要：
经过今天的摸索，终于完成了首都之窗信件的爬取代码，昨天的代码共有两处错误导致无法达到爬取目的。 page.addTargetRequests(page.getHtml().link().regex().all());应该为：page.addTargetRequests(page.getHtml(). 阅读全文
摘要：
今天继续学习webmagic 已经可以爬取出目录和跳转去信件的页面，不知道是一直有还是后来加的，现在好像多了哥跳转中页面，目录给的链接不是直接的信件页面，所以我还需要再加一条爬取跳转中页面的提供的url然后访问，才可以爬取信件内容，但是不知道是正则表达式的问题还是什么，总之爬取不到想要的url一直是 阅读全文
摘要：
今天继续学习webmagic爬虫 通过老师给的学习资料学习后，对webmagic爬虫基本有了了解，当时对site方法有点模糊，今天也终于搞明白了，感觉就像模拟了一个用户一样，对一个网站的框架还是不是很了解，所以还是不太理解，那些cookie，host，UserAgent，和header是什么，不过我 阅读全文
摘要：
今天继续学习webmagic爬虫技术，组件包含： 1.Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。 2.PageProcessor PageProcessor负责解析页面，抽取有用信息，以及 阅读全文
摘要：
无可奈何，昨天的问题无法解决，只能把从安装spark重新开始，下载和作者相同的版本，版本如下： 暂时还没有找到，今天还学习了，webmagic爬虫，进行了环境的配置。 作者给的 wget http://192.168.1.100:60000/allfiles/second/edu1/webmagic 阅读全文
摘要：
安装教程下载spark与eclipse连接插件一直报错host not found，是因为虚拟机的问题，上不去那个下载网址吗？ 今天还学习了eclipse爬虫，但是虚拟机在下载插件，没有去配置，只能看，不能练，发现爬虫都是根据url，和XPath、正则表达式和CSS选择器来进行爬区，还有一些间隔，等 阅读全文
摘要：
Scala安装 sudo tar -zxf ~/下载/scala-2.11.8.tgz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./scala-2.11.8/ ./scala # 将文件夹名改为scala sudo chown -R 阅读全文
摘要：
昨天那个并不是正确的，我换回来后突然好了。 阅读全文
摘要：
昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4） <?xml version="1.0" 阅读全文
摘要：
继昨天 运行成功 大数据原理与应用 第十六章 Spark 学习指南 今天进行Java独立应用编程 1.安装maven sudo unzip ~/下载/apache-maven-3.3.9-bin.zip -d /usr/local cd /usr/local sudo mv apache-maven 阅读全文