星*月

摘要： Spark环境搭建在前几篇博客进行了详细描述，这篇博客主要spark的一些使用方法。 一：hdfs的复习 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； 1 Cd /usr/local/hadoop 2 ./sbin/start-dfs.sh 3 ./bin/ 阅读全文

摘要： pickle可以将数据以二进制形式存入文件，也可以以二进制打开并读取文件： 以二进制读写文件时，应以“wb”形式写入，以“rb”形式读取（二进制形式） 方法： pickle.dump(data,file)：dump()方法用于将数据写入文件，data参数为数据，file参数为文件路径。 pickle 阅读全文

摘要： 对文件的读写 方法： 实例： 读取： 写入： 阅读全文

摘要： 字典dict： 字典的定义方式： ①：dict_name = {key1:value1,key2:value2} ②：dict_name = dict(((键,值))) ③： fromkeys() 函数用于创建一个新字典，以序列 seq 中元素做字典的键，value 为字典所有键对应的初始值。 di 阅读全文

摘要： 今天继续学习了scala的一些知识，比如类与对象，抽象类等，还完成了spark实验二。 scala基础 （1）迭代器：迭代器（Iterator）不是一个集合，但是，提供了访问集合的一种方法。它包含两个函数：hasNext与next；hasNext可以判断迭代器是否还有下一个元素，next可以返回迭代 阅读全文

摘要： 函数： __doc__：显示函数文档：也可使用help() 函数中无法直接修改全局变量，需要对变量定义为global： global适用于函数内部修改全局变量的值 nonlocal适用于嵌套函数中内部函数修改外部变量的值 使用MyFunction1 时返回的是MyFunction1 这个函数； 使用 阅读全文

摘要： 今天学习了scala语言的一些基础知识，进行总结。 （1）声明值与变量 变量类型Scala解释器会自动解析，类型写不写都可以。 val变量：声明时必须初始化，之后不可改变（不可重新赋值）。 var变量：声明时可初始化，之后可以改变（重新赋值）。 （2）intersect函数：设A、B都为字符串变量， 阅读全文

摘要： list列表的一些函数（上一篇中写了一些：extend、insert、append、pop、remove,本篇不再解释）： ①逆序函数：reverse()，将数组内部元素逆序排列，使用方法：list.reverse()，如下： ②排序函数：sort(),将列表内数组按照顺序排列，没有参数时如list 阅读全文

摘要： 今天下载安装了spark，下面是下载过程： （1）根据林子雨老师的下载教程，选择spark3.0.0进行下载，点击Download后面的下载链接进行下载。网址（http://spark.apache.org/downloads.html） （2）解压 （3）修改Spark的配置文件spark-env 阅读全文

摘要： 今天完成了spark基础实验一之linux基础命令的练习，并完成了实验报告。在完成的过程中发现之前学习的一些命令除了熟悉的大都记不清了，对不熟悉的再次进行总结。 （1）列出所有目录命令 ls 常用 ls -a 显示除隐藏目录外所有目录 ls -R 显示该目录下所有目录及其子目录 ls -l 显示该目 阅读全文