pyspark读取数据

本地文件系统的数据读写 spark的工作模式为本地模式

 

因为Spark采用了惰性机制，在执行转换操作的时候，即使输入了错误的语句，spark-shell也不会马上报错（假设word.txt不存在）

从文件中读取数据创建RDD

ll /root/spark-2.4.3-bin-hadoop2.7/word.txt
-rw-r--r--. 1 root root 45 Apr 9 13:34 /root/spark-2.4.3-bin-hadoop2.7/word.txt

>>> textFile = sc.textFile("file:///root/spark-2.4.3-bin-hadoop2.7/word.txt")
>>> textFile.collect()
['Hadoop is good', 'Spark is fast', 'Spark is better']

把RDD写入到文本文件中

>>> textFile.saveAsTextFile("file:///opt/writeback")

[root@hdp-node2 writeback]# cd /opt/writeback/
[root@hdp-node2 writeback]# ll
total 8
-rw-r--r--. 1 root root 29 Apr 9 18:00 part-00000
-rw-r--r--. 1 root root 16 Apr 9 18:00 part-00001
-rw-r--r--. 1 root root 0 Apr 9 18:00 _SUCCESS

分布式文件系统HDFS的数据读写 spark的工作模式集群模式

从分布式文件系统HDFS中读取数据，也是采用textFile()方法，可以为textFile()方法提供一个HDFS文件或目录地址，如果是一个文件地址，它会加载该文件，如果是一个目录地址，它会加载该目录下的所有文件的数据

[root@hdp-node2 opt]# hdfs dfs -ls /worddata/
Found 1 items
-rw-r--r-- 3 root hdfs 45 2021-04-09 18:04 /worddata/word.txt

pyspark --master yarn

>>> textFile = sc.textFile("/worddata/")
>>> textFile.collect()
['Hadoop is good', 'Spark is fast', 'Spark is better']

>>> textFile.first()
'Hadoop is good'
>>>

>>> textFile = sc.textFile("hdfs://namespace/worddata/word.txt")
>>> textFile.collect()
['Hadoop is good', 'Spark is fast', 'Spark is better']

同样，可以使用saveAsTextFile()方法把RDD中的数据保存到HDFS文件中，命令如下：

保存之前保存路径不能存在

textFile.saveAsTextFile("/datawriteback000")

[root@hdp-node2 ~]# hdfs dfs -ls /datawriteback00/
Found 3 items
-rw-r--r-- 3 root hdfs 0 2021-04-10 09:31 /datawriteback00/_SUCCESS
-rw-r--r-- 3 root hdfs 29 2021-04-10 09:31 /datawriteback00/part-00000
-rw-r--r-- 3 root hdfs 16 2021-04-10 09:31 /datawriteback00/part-00001
[root@hdp-node2 ~]# hdfs dfs -cat /datawriteback00/part-00000
Hadoop is good
Spark is fast