2018年5月25日

机器学习概念

摘要: 极大似然 使用极大似然的大的前提是模型已知,数据独立同分布; 他的价值在于可以通过局部数据来获取全局的参数,具体的实现就是通过求导数为零的方式来创造 评估方法 评估就是利用测试数据来评估一下用训练数据训练的模型。 评估方法牵涉到一个很重要的环节就是对数据集进行划分;主要有三种:第一种留出法(leav 阅读全文

posted @ 2018-05-25 16:40 张叫兽的技术研究院 阅读(369) 评论(0) 推荐(0) 编辑

Spark性能调优

摘要: 1.压缩 KyroSerializer相比于JavaSerialize处理性能上10倍以上(综合了内存以及CPU);但是对于基本类型比如Int等压缩效果和javaSerializer相比并没有明显优势;另外Kyro支持的Java对象类型比较少,需要做相关配置。 2. Shuffle原理以及Manag 阅读全文

posted @ 2018-05-25 16:32 张叫兽的技术研究院 阅读(332) 评论(0) 推荐(0) 编辑

导航