寒假学习进度

今天就是践行spark的安装了。

安装Spark：

进入Scala下载页面，下拉，找到tgz包

下载并解压：输入命令：tar zxf spark-2.4.0-bin-hadoop2.7.tgz

 配置文件spark-env.sh

 

 验证Spark是否安装成功。

 

 

 grep 命令进行过滤。

下面是关于hdfs的命令：

上传文件
　　hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)

复制文件
　　hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)

移动文件(剪切)
　　hdfs dfs -moveFromLocal src… dest (移动文件,从src移动到dest位置)
　
创建新目录
　　hdfs dfs -mkdir /test
　　hdfs dfs -mkdir -p /test/luo (级联创建)

往文件中追加信息
　　hdfs dfs -appendToFile cba /test/t1 (把cba的内容追加到/test文件夹下的t1文件中)

查看文件内容
　　hdfs dfs -cat /test/t1 (查看/test文件夹下的t1文件)

更改文件的属组
　　hdfs dfs -chgrp nb /test/t1 (把t1 文件的属组改为nb)
　　hdfs dfs -R -chgrp nb /test/t1 (递归修改)

更改文件的权限
　　hdfs dfs -chmod -R 777 /luo (/luo的权限改为777)

更改文件的属主及属组
　　hdfs dfs -chown -R luo:zzz /luo

将HDFS上的文件复制到本地
　　hdfs dfs -copyToLocal /t1 ./

查看文件系统的磁盘空间
　　hdfs dfs -df -h /