Kernel_wu - 博客园

spring boot 调用的spark的一个简单例子

摘要：好久没写博客了。。。我写了个最简单的demo，可以通过restful api 接口调用spark 任务，github地址：https://github.com/wuheyi/RestSparkEtl 项目组内的大牛开源了streamingpro，那个比较庞杂；我打算自己也写一个私人定制的版本玩玩阅读全文

posted @ 2018-05-09 09:04 Kernel_wu 阅读(3957) 评论(0) 推荐(0) 编辑

kaggle 模型融合 stacking

摘要： https://www.kaggle.com/arthurtok/introduction-to-ensembling-stacking-in-python 这个写的太好了，前面部分是数据处理，坐着写的比较简单，可以不用细看；后面是模型的融合，主要采用stacking模式 http://www. 阅读全文

posted @ 2017-06-06 15:29 Kernel_wu 阅读(412) 评论(0) 推荐(0) 编辑

几个特别好的kaggle教程

摘要： https://www.kaggle.com/arthurtok/interactive-intro-to-dimensionality-reduction https://www.kaggle.com/helgejo/an-interactive-data-science-tutorial htt 阅读全文

posted @ 2017-06-02 18:16 Kernel_wu 阅读(428) 评论(0) 推荐(0) 编辑

kaggle竞赛入门

摘要：我入门是看了范淼和李超的《python机器学习机实践从零开始通往Kaggle竞赛之路》这本书需要掌握python语言，并熟练使用如下python包：pandas numpy matplotlib/seaborn sklearn pandas是数据处理的一个库，通过http://www.cnblo 阅读全文

posted @ 2017-06-01 16:07 Kernel_wu 阅读(676) 评论(0) 推荐(0) 编辑

用python抓取摩拜单车API数据

摘要：最近摩拜单车超级火，下班了各种骑，然后膝盖伤了。。。。。。看到这篇文章http://mp.weixin.qq.com/s?__biz=MzA5NDExMTAzNA==&mid=2649982414&idx=1&sn=68b638c4f019baa3a783c045b294d6de&chksm=88 阅读全文

posted @ 2017-05-23 15:50 Kernel_wu 阅读(578) 评论(0) 推荐(0) 编辑

机器学习路线方法 python scikit-learn spark mllib

摘要：机器学习开发与应用第一章前言... 2 第二章平台的选择... 2 第三章 API的学习... 2 3.1 Scikit_learn. 2 3.2 Spark MLLib. 3 第四章进一步提升... 3 第五章原理层面的提升... 4 第六章补充的学习... 4 6.1 遇到一个知识点阅读全文

posted @ 2017-05-15 10:56 Kernel_wu 阅读(2521) 评论(0) 推荐(1) 编辑

大数据环境部署、开发和应用（hadoop、spark

摘要：写了个WORD版本，直接拷过来，格式就不修正了。部署部分都是根据我自身的操作记录的，可能存在记录不全的问题，需要自己百度。其他一些是学习的建议，我学的比较快，部署加学习，两星期就搞定了，所以感觉还是靠谱的。另外，如果是初学者，建议先花一天时间熟悉下hadoop和spark的生态圈大数据环境部阅读全文

posted @ 2017-05-15 10:52 Kernel_wu 阅读(441) 评论(0) 推荐(0) 编辑

python的一些常用操作

摘要：判断文件或者文件夹是否存在 if(os.path.exists(rootdir) == False) 创建文件夹 os.mkdir(rootdir) 调用系统命令 os.system(cmd) 字典循环 for key,value in dict.items() 打开文件并读取内容进行处理 fd = 阅读全文

posted @ 2017-05-15 10:41 Kernel_wu 阅读(479) 评论(0) 推荐(0) 编辑

python3 清洗json数据

摘要：－－－－－－－－－－－－－－－－－ getCommunityData.py －－－－－－－－－－－－－－－－－import jsonimport osimport os.pathimport csvimport parameterConfigfrom getFocusedPerson import 阅读全文

posted @ 2016-09-14 09:27 Kernel_wu 阅读(1802) 评论(0) 推荐(0) 编辑

MONGDB学习笔记

摘要：阅读全文

posted @ 2016-09-14 09:21 Kernel_wu 阅读(109) 评论(0) 推荐(0) 编辑