关于重写ID3 Algorithm Based On MapReduceV1/C++/Streaming的一些心得体会
心血来潮，同时想用C++连连手。面对如火如荼的MP，一阵念头闪过，如果把一些ML领域的玩意整合到MP里面是不是很有意思
确实很有意思，可惜mahout来高深，我也看不懂。干脆自动动手丰衣足食，加上自己对JAVA一窍不通，于是写了streming C++版的ID3，数据源是来大神orisun的原始数据。
整个过程都是下班后一边带孩子一边撰写，总共历时2周多，写了两个版本：
1，shell+streming（屌丝版，MP运行速度在3分钟，单机OS运行速度541毫秒）
2，streaming一次成型（高富帅版，MP运行速度23秒，单机OS运行速度42毫秒）
先贴一些ID3的数据流向，
ID3 先算每种因素的出现概率，再推算因素所在FILED的出现概率，再推送嫡，再推算GAIN。
嵌套过程如下，注意输入输出，一般来说，把下个子节点和概率，带到下一次嵌套FUNCTION中。
最后输出屌丝版的结果：
高富帅的结果：
一些心得体会：
1，总体代码行数偏于庞大，主要在字段过滤和预先处理方面花费了不少精力，为的是预防开发人员无法全量distinct 所有因素的枚举。
2，mapreduce在嵌套调用方面能力较弱，加上自己本身不会java，mp的一些基础库如jobchain和jobconf无法发挥100%功效。只能用外部shell来实施文本过滤。
3，高富帅版本主要的思想是想让mapper承担更多的计算，避免嵌套重复过滤样本生成树，所有做了所有可见组合的计算，共144项，将结果直传给了Reducer。
4，对于Reduce数据结构的构建，试了多种形式，最终决定还是用结构体+MAP容器嵌套+嵌套，形成第一张图的表格。
5，对于字符串处理和内存处理细节有所欠缺。从char *，string傻傻理不清楚。
6，坊间谣传strsep bug较少，对此无太多评论。
源码如下，各位看官手下留情。^_^
