10 2017 档案

FTP下载文件
摘要：linux命令方式下载 step1： >>ftp ip port 根据提示输入用户名 根据提示输入用户密码 >>cd 目录（重要：一定要进入文件所在的目录） >>get 文件名（重要提示：非文件夹，文件名为要下载的远程文件） 备注：get 文件名 【local file】，若不指定local fil 阅读全文
posted @ 2017-10-31 19:11 大数据技术宅 阅读(265) 评论(0) 推荐(0)
scala求交集、并集、差集命令
摘要：交集 scala> Set(1,2,3) & Set(2,4)res1: scala.collection.immutable.Set[Int] = Set(2) 并集 scala> Set(1,2,3) | Set(2,4)res2: scala.collection.immutable.Set[ 阅读全文
posted @ 2017-10-13 14:40 大数据技术宅 阅读(1263) 评论(0) 推荐(1)
Spark版wordcount，并根据词频进行排序
摘要：import org.apache.spark.{SparkConf, SparkContext}/** * Created by loushsh on 2017/10/9. */object WordCount { def main(args:Array[String]): Unit ={ val 阅读全文
posted @ 2017-10-10 10:39 大数据技术宅 阅读(1562) 评论(0) 推荐(0)
集群提交spark任务命令
摘要：>>spark-submit --class WordCount DataMining.jar /dept_ana/part-00000 /dept_ana/output/wordCountResult --master yarn --num-executors 30 --executor-memo 阅读全文
posted @ 2017-10-10 09:50 大数据技术宅 阅读(1050) 评论(0) 推荐(0)