摘要: ##############################################################java的File类常用方法: import java.io.File;import java.io.IOException; File file1=new File("con 阅读全文
posted @ 2020-04-13 11:25 等木鱼的猫 阅读(359) 评论(0) 推荐(0) 编辑
摘要: val rdd=sc.parallelize(List(("Jack","America","23"),("Mark","China","25"),("Lura","Australia","24")))import sqlContext.implicits._val df=rdd.repartiti 阅读全文
posted @ 2020-04-02 17:27 等木鱼的猫 阅读(1881) 评论(0) 推荐(0) 编辑
摘要: import com.alibaba.fastjson.{JSON, JSONObject} val str="{\"boxId\":\"001\",\"allContent\":[{\"fruitName\":\"apple\",\"weight\":\"1\"},{\"fruitName\":\ 阅读全文
posted @ 2020-04-02 17:02 等木鱼的猫 阅读(1431) 评论(0) 推荐(0) 编辑
摘要: //判断string 是否是数值 def isNotIntType(str: String): Boolean = { val pattern = "^(\\d+)$".r str match { case pattern(_*) => false case _ => true } } //判断st 阅读全文
posted @ 2020-04-01 15:10 等木鱼的猫 阅读(114) 评论(0) 推荐(0) 编辑
摘要: val str1="{\"id\":\"001\",\"value\":[{\"fruitName\":\"apple\",\"weight\":\"1\"},{\"fruitName\":\"orange\",\"weight\":\"2\"},{\"fruitName\":\"strawberr 阅读全文
posted @ 2020-04-01 15:01 等木鱼的猫 阅读(427) 评论(0) 推荐(0) 编辑
摘要: import java.io.Fileimport scala.io.Source val filePath = new File("C:\\Users\\peanut\\Desktop\\apple.txt") val source=Source.fromFile(filePath)val sou 阅读全文
posted @ 2020-04-01 14:59 等木鱼的猫 阅读(190) 评论(0) 推荐(0) 编辑
摘要: spark submit 参数及其调优https://blog.csdn.net/guohecang/article/details/52088117 Spark配置参数详解 一.yarn模式下一个示例:./bin/spark-submit \ --master yarn-cluster \ --n 阅读全文
posted @ 2019-12-06 16:17 等木鱼的猫 阅读(1023) 评论(0) 推荐(0) 编辑
摘要: 1.Shell 既是一种命令语言,又是一种程序设计语言2.Shell 脚本(shell script),是一种为 shell 编写的脚本程序3.shell脚本第一行: #!/bin/sh 4.shell变量: #注意: 变量名和等号之间不能有空格 my_name="Peanut" #使用变量时,在变 阅读全文
posted @ 2019-12-06 16:12 等木鱼的猫 阅读(201) 评论(0) 推荐(0) 编辑
摘要: 1.需要加上转义字符java.util.regex.PatternSyntaxException: Unclosed character class near index 0java.util.regex.PatternSyntaxException: Unexpected internal err 阅读全文
posted @ 2019-11-05 15:44 等木鱼的猫 阅读(666) 评论(0) 推荐(0) 编辑
摘要: 计算机网络:自顶向下深入理解 Java 虚拟机词性标注-码农场https://zhuanlan.zhihu.com/p/31470216Spark-特征抽取(TF-IDF)https://blog.csdn.net/u013963380/article/details/72722398一文详解LDA 阅读全文
posted @ 2019-11-05 15:40 等木鱼的猫 阅读(195) 评论(0) 推荐(0) 编辑