摘要：
错误一： 错误处理：将IDEA中的Scala 改为2.10.4版本 这个问题主要出现在 Spark程序使用 case class 类时 错误二： 错误处理：将IDEA中的Scala 改为2.12.3版本 这个问题主要出现在 Spark程序使用 Seq时： 比如： 阅读全文
摘要：
信息 阅读全文
摘要：
特征选择（Feature Selection）指的是在特征向量中选择出那些“优秀”的特征，组成新的、更“精简”的特征向量的过程。它在高维数据分析中十分常用，可以剔除掉“冗余”和“无关”的特征，提升学习器的性能。 特征选择方法和分类方法一样，也主要分为有监督（Supervised）和无监督（Unsup 阅读全文
摘要：
VectorIndexer： 倘若所有特征都已经被组织在一个向量中，又想对其中某些单个分量进行处理时，Spark ML提供了VectorIndexer类来解决向量数据集中的类别性特征转换。 通过为其提供maxCategories超参数，它可以自动识别哪些特征是类别型的，并且将原始值转换为类别索引。它 阅读全文
摘要：
一、One-Hot Encoding One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。 阅读全文
摘要：
结果： + + + +| id|label|label_index|+ + + +| 0| log| 0.0|| 1| text| 1.0|| 2| text| 1.0|| 3| soyo| 2.0|| 4| text| 1.0|| 5| log| 0.0|| 6| log| 0.0|| 7| lo 阅读全文
摘要：
结果： logtextsoyo+ + + +|id |type|type_index|+ + + +|0 |log |0.0 ||1 |text|1.0 ||2 |text|1.0 ||3 |soyo|2.0 ||4 |text|1.0 ||5 |log |0.0 ||6 |log |0.0 ||7 阅读全文
摘要：
结果： 8sparksoyo+ + + +|id |words |features |+ + + +|0 |[soyo, spark, soyo2, soyo, 8] |(3,[0,1,2],[1.0,1.0,2.0])||1 |[soyo, hadoop, soyo, hadoop, xiaozh 阅读全文
摘要：
package Spark_MLlib import org.apache.spark.ml.feature.Word2Vec import org.apache.spark.sql.SparkSession object 特征抽取_Word2Vec { val spark=SparkSession.builder().master("local").appName("Word... 阅读全文
摘要：
def Parametron(strings:String*): Unit ={ strings.foreach(x=>{ println(x) if (x=="88") println(s"********** ${x.toInt}************") }) } ... 阅读全文