摘要：
今天安装配置了spark，主要是按照林子雨老师的教程安装的。其中在下载sbt和用sbt将程序进行打包时花费了大量的时间（可能是因为网络不佳吧）。 一.安装 1.从spark官网选择版本进行下载。若已装有hadoop则第二项选择如图所示。 2.解压安装后，还需要修改Spark的配置文件spark-en 阅读全文
|
摘要：
今天安装配置了spark，主要是按照林子雨老师的教程安装的。其中在下载sbt和用sbt将程序进行打包时花费了大量的时间（可能是因为网络不佳吧）。 一.安装 1.从spark官网选择版本进行下载。若已装有hadoop则第二项选择如图所示。 2.解压安装后，还需要修改Spark的配置文件spark-en 阅读全文
摘要：
今天学习了scala语言的基础知识，并完成了spark基础实验二的部分内容。 题目1： import io.StdIn._ object jishu{ def main(args:Array[String]){ var Sn:Float = 0 var n:Float = 1 print("请输入q 阅读全文
摘要：
今天对一些Linux的基础命令进行了复习，并完成了spark实验一。做了一些总结。 1. 切换目录 cd /home/hadoop #把/home/hadoop设置为当前目录 cd .. #返回上一级目录 cd ~ #进入到当前Linux系统登录用户的主目录（或主文件夹）。在 Linux 系统中，~ 阅读全文
摘要：
题目要求： 1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article 阅读全文
摘要：
实验内容 现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。 buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 要求编写MapReduce程序，统计每个买家收藏商品数量。 阅读全文
摘要：
第十六周 所花时间 15小时 代码量 450行 博客量 2篇 学习到的知识点 这周主要是在做php的大作业，巩固了php连接数据库的操作 第十六周 阅读全文
摘要：
这一学期马上就要过去了，也已经结束了软件工程这门课程的学习。确实通过这门课的学习收获还是挺多的，个人各方面的能力都有了很大提升，尤其是编程能力。 还记得在这学期初的开课博客里制定了本学期的计划，回顾一下：1.多编代码，增大代码学习强度，提高编程能力。2.认真听讲，紧跟老师步伐，争取做到课上练习课上完 阅读全文
摘要：
这次我读了《程序员修炼之道》的第二章的一部分，主要是进行了一些摘抄总结。 7.重复的危害 强加的重复。开发者觉得他们无可选择——环境似乎要求重复。 无意的重复。开发者没有意识到他们在重复信息。 无耐性的重复。开发者偷懒，他们重复，因为那样似乎更容易。 开发者之间的重复。同一团队（或不同团队）的几个人 阅读全文
摘要：
这次我继续读了《程序员修炼之道》的第一章。 4.足够好的软件 短语“足够好”并非意味着不整洁或制作糟糕的代码，所有系统都必须满足其用户的需求，才能取得成功，我们只是在宣扬，应该给用户以机会，让他们参与决定你所制作的东西何时已足够好。 使质量成为需求问题。 不要因为过度修饰和过于求精而毁损完好的程序。 阅读全文
|