介绍就从简了,阿里和新浪微博举办的数据比赛,用数据挖掘机器学习那一套对新浪微博数据进行预测分析。详细的介绍还是拜读官网吧,下面开始进入正题:

一、数据的载入和处理

  本次竞赛的数据量有几百M,如果用matlab来进行处理的话,内存会吃不消,因为matlab变量是存在内存里面的,笔者的台式机8G内存,除去系统的3G,剩下的5G用来读这些数据,读取进来就已经很吃力了,别说处理了,所以,数据的载入和处理,我决定交给SQL server 这样的数据库系统软件来做。我matlab并不熟练,可能有更好的方法来载入处理,如果读者知道的话,请务必在下面留言,告知笔者,给笔者一个长知识的机会,谢谢!

  差点又离题了,这次数据的载入,关键需要注意的地方就是中文文本的处理方式,因为官方给予的数据的默认编码方式是utf-8的统一编码格式,如果你数据库设置的排序规则——就是语言首选项之类的设置的不对的话,那么你导入进去也是乱码显示的。这个时候,需要你更改语言的排序规则,或者把元数据稍微用系统自带的记事本打开数据,另存为中文格式的数据一下(就是ANSI的格式),也可以。关键就是,一定要统一,这点很重要,官方数据是utf-8的话,你的数据库默认的排序规则就要设置为latin,但不巧的是,我安装的时候设置成简体中文了,修改排序规则的话,我其他的数据库也得变,所以,我尽量不该底层,用记事本修改下官方的数据,再导入,也不失为一种折衷的高效之举。

  

  好了,数据导入已经完毕了,下次再写好了,笔者困到不行了。

二,提交一份数据

  这次要预测的数据是微博的转发数,评论数,和赞的数量。而且评测的方法是类似于MSE准则的评分方式,详情请见大赛官网,如果是MSE准则评分方式,采取提交平均分的方式是非常占便宜的,因为根据统计学的知识,样本的均方值会在样本数趋于无穷的时候,收敛于真实的均值,也就是说,平均分这样的做法,对于采取MSE准则来说,是比较容易获得高分的。这样解释可能大家都豁然开朗了。接下来想说一下我的具体的解题思路,就是把数据进行文本关键词分类,时间分类,之后再聚类,然后在这些聚类下分别进行平均,然后得出一个比较精确的平均结果,那你有可能有疑问,既然是平均,最容易想到的是整体的平均值,如果提交一份整体的平均值,不是也可以吗?对,那样是平均值,但是那样的平均值太粗糙了,每个人发的每篇微博的情况都不一样,假如你把每个人的每篇微博都平均了,之后的得出来的结果就是一个过拟合的结果了,因为你认为每个人都是服从整体平均的,这样的依据是不合理的,所以,还需要科学合理的分类,或者用一些巧妙的聚类手段,将我们的用户和博文进行分类之后,在细分的基础上进行平均,这样的成绩理应比粗糙的平均更有说服力,而且成绩更高才对。

  基于这样一个想法,我们今天就提交了一份,每个用户的平均。因为要预测的用户,和训练的用户是有重叠的,换句话说,训练数据中,甲发了微博A,微博B,有了它的评论数,转发数,和赞数,而预测数据同样数显了甲,但是,我们就是要预测他的微博C和微博D的评论数,转发数,和赞数,其中,90%以上都是这样一种情况,剩下的10%是什么情况呢?剩下的是一些新用户。比如训练数据中,出现了乙的微博M,微博N的评论数,转发数和赞数,但是预测数据出现了新用户丙,我们要预测新用户丙的微博X的评论数,转发数,和赞数。这样就明显制造了一个分类,就是,预测数据中在训练数据中出现的老用户,和训练数据中没有出现的新用户,这样两大阵营。我们对老用户,用老用户的平均数据来预测,我们对于新用户,用整体的平均数据来预测(保守起见而已),那么就得出了一份比较基本的结果了。

  今天的结果是,正确率37.24%,看来下一步还需要进一步的分类和分析才行呢。加油。持续更新中~