摘要: 2016年在清华研究--》启动python版的spark直接输入pyspark--》帮助pyspark --help---》执行python实例spark-submit /usr/local/spark-1.5.2-bin-hadoop2.6/examples/src... 阅读全文
posted @ 2018-04-16 14:30 开往春天的拖拉机 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 2016年在清华实习,研究大数据框架hadoop,总结了两段,其余都忘,珍惜。1.hadoop包括hdfs和mapreduce2.hadoop的配置文件 core-site.xml 和hdfs-xml,在安装目录hadooop-2.6.0/etc/conf/hadoo... 阅读全文
posted @ 2018-04-16 14:29 开往春天的拖拉机 阅读(73) 评论(0) 推荐(0) 编辑