03 2017 档案

逻辑回归（LR）总结复习
摘要：1.算法概述 　　2.算法推导 　　3.算法特性及优缺点 　　4.注意事项 　　5.实现和具体例子 6.适用场合 阅读全文
posted @ 2017-03-31 17:26 混沌战神阿瑞斯 阅读(4159) 评论(0) 推荐(1)
隐马尔可夫模型（HMM）总结
摘要：摘要： 　　1.算法概述 　　2.算法推导 　　3.算法特性及优缺点 　　4.注意事项(算法过程，调参等注意事项) 　　5.实现和具体例子 　　6.适用场合 阅读全文
posted @ 2017-03-28 07:31 混沌战神阿瑞斯 阅读(3534) 评论(0) 推荐(0)
机器学习理论知识部分--偏差方差平衡（bias-variance tradeoff）
摘要：1.常见问题 　　　　1.1 什么是偏差与方差？ 　　　　1.2 为什么会产生过拟合，有哪些方法可以预防或克服过拟合？ 　　2.模型选择 　　3.特征选择 　　4.特征工程与数据预处理 阅读全文
posted @ 2017-03-24 07:33 混沌战神阿瑞斯 阅读(1492) 评论(0) 推荐(0)
我的面试问题记录
摘要：周二面试了一天，结果就是各种被虐。下面记录下我的面试题，大神直接略过。 内容总结： 　　欧朋： 　　　　1.算法题：给一个字符串，相邻的字符去重。（我的想法是写了个循环，如果下一个和现在的不同才添加到结果字符串中，直至串尾） 　　　　2.算法题：给一个9*9的数独，判断行，列以及小九宫格不重复。(leetcode原题：https://leetcode.com/problems/valid-sudoku/) 　　百度： 　　　　1.java相关：垃圾回收机制，对象是值传递还是引 阅读全文
posted @ 2017-03-22 09:10 混沌战神阿瑞斯 阅读(3611) 评论(2) 推荐(1)
开发中遇到的一些问题
摘要：1.StackOverflowError 问题：简单代码记录 : for (day <- days){ 　　rdd = rdd.union(sc.textFile(/path/to/day) .... ) } 阅读全文
posted @ 2017-03-22 08:06 混沌战神阿瑞斯 阅读(5637) 评论(0) 推荐(0)
Spark RDD 核心总结
摘要：摘要： 　　1.RDD的五大属性 　　　　1.1partition(分区) 　　　　1.2partitioner(分区方法) 　　　　1.3dependencies(依赖关系) 　　　　1.4compute(获取分区迭代列表) 　　　　1.5preferedLocations(距离近的节点列表) 　　2.RDD实现类举例 　　　　1.MapPartitionsRDD 　　　　2.ShuffledRDD 3.RDD可以嵌套吗？ 阅读全文
posted @ 2017-03-22 07:59 混沌战神阿瑞斯 阅读(4059) 评论(0) 推荐(0)
K-Means聚类和EM算法复习总结
摘要：摘要： 　　1.算法概述 　　2.算法推导 　　3.算法特性及优缺点 　　4.注意事项 　　5.实现和具体例子 阅读全文
posted @ 2017-03-21 21:50 混沌战神阿瑞斯 阅读(8049) 评论(2) 推荐(1)
常见概率分布图表总结
摘要：摘要： 　　1.常见离散变量的分布 　　2.常见连续变量的概率分布 　　3.共轭分布 阅读全文
posted @ 2017-03-21 09:54 混沌战神阿瑞斯 阅读(3375) 评论(0) 推荐(0)
我的机器学习/数据挖掘的书单
摘要：李航的《统计学习方法》 这本书开篇第一章写得特别好，各个模型的算法推导也比较全，基本涵盖了比较经典的判别模型和生成模型。 《机器学习实战》 这本书代码和应用特别多，了解python用法和机器学习算法的代码实现非常方便。 项亮的《推荐系统实践》 这本书个人感觉偏理论一点，伪代码看着都实现不了，不过关于 阅读全文
posted @ 2017-03-05 20:01 混沌战神阿瑞斯 阅读(5733) 评论(0) 推荐(2)
Spark算子选择策略
摘要：摘要 　 1.使用reduceByKey/aggregateByKey替代groupByKey 　　2.使用mapPartitions替代普通map 　　3.使用foreachPartitions替代foreach 　　4.使用filter之后进行coalesce操作 　　5.使用repartitionAndSortWithinPartitions替代repartition与sort类操作 　　6.使用broadcast使各task共享同一Executor的集合替代算子函数中各task传送一份集合 阅读全文
posted @ 2017-03-03 22:38 混沌战神阿瑞斯 阅读(2002) 评论(0) 推荐(0)