摘要：
1.今天把Spark编程第三个实验的Scala独立程序编程写完了。使用 sbt 打包 Scala 程序，然后提交到Spark运行。 2.完成了实验四的第一项 （1）该系总共有多少学生； map(t => t.split(",")(0))表示：lines这个RDD中每个元素被split()函数拆分成3 阅读全文
摘要：
1．安装 Hadoop 和 Spark 进入 Linux 系统，参照本教程官网“实验指南”栏目的“Hadoop 的安装和使用”，完 成 Hadoop 伪分布式模式的安装。完成 Hadoop 的安装以后，再安装 Spark（Local 模式）。 2．HDFS 常用操作 使用 hadoop 用户名登录进 阅读全文
摘要：
1.配置Scala环境所需要的所有命令（Ubuntu系统下） 其中scala-2.13.1版本在官网：https://www.scala-lang.org/download/ 下载 2.出现该提示则配置成功。 然后进行简单的测试： Scala环境配置完成。 3.实验 1. 计算级数 请用脚本的方式编 阅读全文
摘要：
题目： Linux 系统的安装和常用命令 姓名： 赵路仓 日期： 2020.1.24 实验环境： Ubuntu 实验内容与完成情况： （1）切换到目录 /usr/bin； （2）查看目录/usr/local 下所有的文件； （3）进入/usr 目录，创建一个名为 test 的目录，并查看有多少目录存 阅读全文
摘要：
1.数据清洗 有以下格式的数据 清洗后导入hive数据库变为如下格式： 第一步数据清洗完成。 2.数据处理 阅读全文
摘要：
现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。 buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 买家id 商品id 收藏日期 10181 1000481 2010-0 阅读全文
摘要：
异常处理：首先了解异常，程序出现逻辑错误或者用户输入不合法都会引发异常，而这些异常并不是致命的所以不会导致程序崩溃死掉。可以利用Python提供的异常处理机制在异常出现时及时捕获，并从内部自我消化。 接下来一个例子来说明异常： 这是一个简单的读取文件内容的例子，如果用户输入正确的文件名，文件内容得以 阅读全文
摘要：
对于保存文本，如果要保存的数据像列表，字典甚至是类的实例时，普通的文件操作就会很复杂，如果把这些转化为字符串写入到文本文件中保存，把这个过程反过来读取的话就会异常麻烦，因此python提供了一个标准模块pickle。 pickle模块翻译为泡菜，python使用这个模块，可以非常容易地将列表、字典这 阅读全文
摘要：
1.getcwdd() 获得应用程序当前的工作目录 2.chdir(path) 改变当前工作目录 3.listdir(path=',')列出当前文件夹 4.mkdir(path) 创建文件夹 5.makedirs(path) 创建多级目录 6.remove()和rmdir() removedirs( 阅读全文
摘要：
f.open() 用于打开一个文件。 f.read() 如果不设置参数,直接读到文件末尾位置。 f.tell() 显示当前文件指针的位置。 f.seek() file.seek(offset,whence) offset：开始偏移量，需要移动偏移的字节数 whence：给offset参数一个定义，表 阅读全文