潇洒的麦兜

摘要： 特征选择和降维存在着联系，但是却不能把它们混为一谈。 先说说联系，当数据的维度很高时，经常伴随着数据样本稀疏、距离计算困难等问题，即所谓的“维数灾难”(curse of dimensionality)。而缓解维数灾难有两个重要的途径，也就是降维和特征选择，可以这么认为，特征选择和降维的目标都是降低数 阅读全文

摘要： 在研究网络流量分析的时候，wireshark默认采用pcap格式。对于用Endace DAG捕捉卡捕获的数据包，一般来说，都是erf格式的。一般来说，此种格式包含了更多了链路层信息。而我们采用wireshark其中的一个组件editcap，可以将erf格式转换成为pcap格式： 这条命令是在Wind 阅读全文

摘要： 最近在恶补算法，写一写经典的排序算法，先贴上各个复杂度对比图： 1.冒泡法排序 总结： 最好情况：n-1次，时间复杂度为O(n) 最坏情况：1+2+···+(n-1)，时间复杂度为O(n2) 2.简单选择排序 总结： 最好情况和最坏情况一致：1+2+···+(n-1)，时间复杂度为O(n2) 3.插 阅读全文

摘要： Windows版本 一、从官网下载python2.7，安装过程中把pip给装上，并且把path也选上，就是把自带的工具全选； 二、在cmd下输入python，会进入交互式界面，出了问题很大程度上是因为路径的原因； 三、退出交互式界面，exit()。 四、进入到C:\Python27\Scripts， 阅读全文

摘要： hadoop也好，spark也好，都是处理大数据的工具。 花太多的时间研究工具，却不去了解算法，简直蠢。。。 阅读全文

摘要： 之前测试的一些spark案例都是采用离线处理，spark streaming的流处理一样可以运行经典的wordcount。 基本环境： spark-2.0.0 scala-2.11.0 IDEA-15.0.6 创建项目，贴上代码： 记得在pom.xml下引入依赖： 再生成jar包传到集群上，用spa 阅读全文

摘要： 启动spark的时候发现，主节点（master）上的Master进程还在，子节点（Worker）上的Worker进程自动关闭。 在子节点上查询log发现： ERROR Worker: All masters are unresponsive! Giving up 发现子节点连接不上master节点， 阅读全文

摘要： 之前发现master中Hmaster进程自己挂掉，而worker中的HRegionServer进程关闭不掉。 最开始怀疑是hbase的pid文件存在tmp中，被系统自己删掉了，就在hbase文件中新建了一个pid文件，用于存放pid号。 发现重新启动hbase，Hmaster还是挂掉。 看log发现 阅读全文

摘要： 今天用openstack的dashboard创建了5个instance，现在的工作就是让它们可以相互访问。 1个namenode，4个datanode。 总体思路：有namenode产生公钥和密钥，传给4个datanode。 1.用 ssh-key-gen 在namenode上创建公钥和密钥 2.用 阅读全文

摘要： 今天用fuel重新搭建openstack环境，在路由器上ssh 172.16.0.2时，发现如下提示： [root@localhost ~]# ssh 172.16.0.2@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WAR 阅读全文