11 2021 档案
摘要：Scala 下划线(_) 用法汇总链接 https://blog.csdn.net/lsgqjh/article/details/86078366?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2
阅读全文
摘要：standalone client模式是spark自带的一个分布式集群模式（单机模式） 主要有客户端节点,master节点，worker节点 worker节点启动后会向master节点注册信息，把自身的计算资源汇报给master,master节点保存信息后，会向worker返回连接告诉他注册成功，w
阅读全文
摘要：应用机器学习的时候，会遇到很多问题。比如模型的选择，数据的拟合程度，新样本的泛化程度。这里记录 一些相关概念和应对方法。 1. 将 数据集分成 训练集，验证集，测试集。最好是采用随机方法来取，一般是 60% ，20%，20%。 要考虑假设函数的拟合程度（也就是模型选择）以及 新情况的泛化程度，验证集
阅读全文
摘要：spark中函数和方法定义虽然差不多，但是函数要更加灵活，用的最多的是匿名函数写法，尤其在链式编程的时候尤为突出。 函数定义方法多样 1.规范化写法,scala 函数的返回值是最后一行代码； def addInt(a:Int,b:Int) : Int = {var total : Int = a +
阅读全文
摘要：线性回归之梯度下降算法 https://zhuanlan.zhihu.com/p/58182806
阅读全文
摘要：前面说了针对 代价函数 ，为了找到使得代价函数最小的参数值，常常使用梯度下降算发，经过多次迭代找到参数值，但是多次迭代会消耗一些时间，所以就提出了另外一种方法，正规方程法 正规方程 不需要迭代一次就能求出参数，但是特征数超过10000，就要谨慎使用，矩阵会太大，反而消耗更多时间。 这里的参数是一个向
阅读全文
摘要：方差 标准差 均方差 均方误差的区别差异 https://zhuanlan.zhihu.com/p/83410946 有了方差为什么需要标准差？ https://www.zhihu.com/question/20534502/answer/202286999
阅读全文
摘要：接首篇 https://www.cnblogs.com/xstCoding/p/15531299.html 整理一下scala的类对象 scala的类，属性 定义使用方式和Java中没什么区别，主要要注意一下属性val 和var的赋值问题 class Persion2 {var name: Stri
阅读全文
摘要：string 的详解链接 https://blog.csdn.net/dearKundy/article/details/82355019?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163653483616780274167208
阅读全文
摘要：scala详细语法 https://blog.csdn.net/qq_39346903/article/details/113562823?ops_request_misc=&request_id=&biz_id=102&utm_term=scala%E6%95%99%E7%A8%8B&utm_me
阅读全文
摘要：1. 一个job的Maptask具体个数的确定 https://blog.51cto.com/u_15294985/2999282
阅读全文
