2018年5月25日

机器学习概念

摘要： 极大似然 使用极大似然的大的前提是模型已知，数据独立同分布； 他的价值在于可以通过局部数据来获取全局的参数，具体的实现就是通过求导数为零的方式来创造 评估方法 评估就是利用测试数据来评估一下用训练数据训练的模型。 评估方法牵涉到一个很重要的环节就是对数据集进行划分；主要有三种：第一种留出法（leav 阅读全文

posted @ 2018-05-25 16:40 下士闻道 阅读(365) 评论(0) 推荐(0) 编辑

Spark性能调优

摘要： 1.压缩 KyroSerializer相比于JavaSerialize处理性能上10倍以上（综合了内存以及CPU）；但是对于基本类型比如Int等压缩效果和javaSerializer相比并没有明显优势；另外Kyro支持的Java对象类型比较少，需要做相关配置。 2. Shuffle原理以及Manag 阅读全文

posted @ 2018-05-25 16:32 下士闻道 阅读(331) 评论(0) 推荐(0) 编辑

导航