摘要：
今天主要学习了scala正则表达式（https://www.runoob.com/scala/scala-regular-expressions.html）与文件I/O操作完成了实验3， 并学习认识了webmagic爬虫（https://www.cnblogs.com/justcooooode/p/ 阅读全文
摘要：
今天主要学习了scala基本语法，并完成了scala实验1 2，实验3打算明天用文件操作完成（今天试了一下数组但是这种方法不灵活）后续补充 已补充 1.请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 S 阅读全文
摘要：
今天没干多少东西 就是在eclipse上配置scala环境然后解决项目运行出错的问题最后成功运行了简单的scala项目 配置scala环境主要参考这篇博客https://blog.csdn.net/lzxlfly/article/details/80728772 进行到博客里的第4步 点击finis 阅读全文
摘要：
今天主要学习了Spark运行基本流程 RDD概念 RDD 中的依赖关系 Spark划分 RDD 在 Spark 架构中的运行过程以及完成实验一Linux系统常用命令 Spark运行基本流程 （1）当一个 Spark Application 被提交时，首先需要为这个应用构建起基本的运行环境， 即由 D 阅读全文
摘要：
今天主要是改了一些配置使spark可以在服务器外边运行以及安装了Scala 一、按照前面林子雨教程安装完以后 http://dblab.xmu.edu.cn/blog/804-2/ 1.输入gedit /usr/local/spark/conf/spark-env.sh命令或者按照这个位置自行打开文 阅读全文
摘要：
今天主要进行了spark的安装 本来这部分是比较简单的 但是由于自己之前使用的jdk版本是1.7导致Spark的安装出现了问题（jdk版本较低造成的）然后我接下来进行了jdk版本的升级，以及解决了一些由于操作不当出现的新问题，关于spark的伪分布式集群部署还在学习，请见后续. 1.没有卸载jdk1 阅读全文
摘要：
今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 阅读全文
摘要：
现在就是基本完成了，下一阶段将继续学习hive、 MapReduce 进入mysql mysql --local-infile=1 -u root -p 将HIVE中的表数据导出到临时文件中 insert overwrite local directory '/usr/local/hadoop/tm 阅读全文
摘要：
补一下前天的进度 前天主要完成了清洗以后的数据导入hive以及数据的处理（统计前10个） 下一阶段计划完成数据可视化展示 2.数据处理 1.统计最受欢迎的视频/文章的Top10访问次数 （video/article） 视频： 文章： 2.按照地市统计最受欢迎的Top10课程 （ip） 没有理解这个题 阅读全文
摘要：
Result文件数据说明： Ip：106.39.41.166,（城市） Date：10/Nov/2016:00:01:02 +0800,（日期） Day：10,（天数） Traffic: 54 ,（流量） Type: video,（类型：视频video或文章article） Id: 8701（视频或 阅读全文