2020.02.06

1.python基础

（1）dict

Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。

 

 把数据放入dict的方法，除了初始化时指定外，还可以通过key放入，由于一个key只能对应一个value，所以，多次对一个key放入value，后面的值会把前面的值冲掉。

 

 要避免key不存在的错误，有两种办法，一是通过in判断key是否存在：

二是通过dict提供的get()方法，如果key不存在，可以返回None，或者自己指定的value：

 

 要删除一个key，用pop(key)方法，对应的value也会从dict中删除：

 

 注意：dict内部存放的顺序和key放入的顺序是没有关系的。

（2）set

set和dict类似，也是一组key的集合，但不存储value。由于key不能重复，所以，在set中，没有重复的key。

要创建一个set，需要提供一个list作为输入集合：

注意，传入的参数[1, 2, 3]是一个list，而显示的{1, 2, 3}只是告诉你这个set内部有1，2，3这3个元素，显示的顺序也不表示set是有序的。

重复元素在set中自动被过滤：

 

 通过add(key)方法可以添加元素到set中，可以重复添加，但不会有效果；通过remove(key)方法可以删除元素：

 

 set可以看成数学意义上的无序和无重复元素的集合，因此，两个set可以做数学意义上的交集、并集等操作：

 

 （3）list是可变对象，对list进行操作，list内部的内容是会变化的：

 

 str是不可变对象，对str进行操作，并不会发生变化：

 2.安装Spark

 

 

 

 3.启动spark的命令

1	./bin/spark-shell

　scale代码测试：