加拿大小哥哥

2016年12月22日

摘要： Scala官方提供了三种插件，分别支持Eclipse、NetBeans和Intellij IDEA开发环境。要在Eclipse IDE下安装Scala插件：选择Eclipse的菜单项Help-->Install New Software...，点击”Add按钮“，在Name和Location分别填入阅读全文

posted @ 2016-12-22 20:14 加拿大小哥哥阅读(4224) 评论(4) 推荐(0) 编辑

SSH免密码登陆原理

摘要： Master作为客户端，要实现无密码公钥认证，连接到服务器Salve上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Salve上。当Master通过SSH链接到Salve上时，Salve会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Maste 阅读全文

posted @ 2016-12-22 18:19 加拿大小哥哥阅读(292) 评论(0) 推荐(0) 编辑

Hadoop中pid文件存储

摘要：我的hadoop集群部署在自己电脑虚拟机上，有时候我是挂起虚拟机，第二天再打开发现有些线程就挂了，比如namenode，好奇怪，当时看了一些帖子说是和pid存储有关，找到log看到找不到pid。因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下阅读全文

posted @ 2016-12-22 18:05 加拿大小哥哥阅读(1788) 评论(0) 推荐(0) 编辑

2016年12月15日

ResourceManager里面Trackingui需要手动该ip

摘要：这个路径下配置了ip和主机名，不过是大小写，ping不同，不论ping大小写还是全部小写都不行，我看地址栏是小写所以想着把hosts里CentOSMaster改成centosmaster，然后还是不行，备份原来的文件，然后删除其他主食就ok了，中间用空格，同一半角。不用重启。然后就可以阅读全文

posted @ 2016-12-15 20:24 加拿大小哥哥阅读(586) 评论(0) 推荐(0) 编辑

Hbase集群master.HMasterCommandLine: Master exiting

摘要：看第一个错误发现说已存在，这不可能啊，百度替换了hadoop包，去zkCil.sh（后面不能家start，否则进不去zookeeper）下，"ls \"发现并没有hbase，说明，并不是zookeeper过期，期三个错误是亚马逊弹性云计算错误，fuck，这和亚马逊什么关系，我是自己的电脑，然后百度第阅读全文

posted @ 2016-12-15 20:20 加拿大小哥哥阅读(7431) 评论(0) 推荐(0) 编辑

zookeeper启动后没有相关进程

摘要：查看状态报错，报错，百度硕士nc问题，让看.out文件，但是这哥文件是空的，那就看log 查看信息发现时myid0，我记得是1啊，所以改了吧，fuck，到现在才发现。发现其他节点的myid也是0，咋回事，以前没问题的，一一改吧阅读全文

posted @ 2016-12-15 14:34 加拿大小哥哥阅读(4674) 评论(0) 推荐(0) 编辑

2016年12月14日

MapReduce实现倒排索引（类似协同过滤）

摘要：一、问题背景倒排索引其实就是出现次数越多，那么权重越大，不过我国有凤巢....zf为啥不管，总局回应推广是不是广告有争议... eclipse里ctrl+t找接口或者抽象类的实现类，看看都有啥方法，有时候hadoop的抽象类返回的接口没有需要的方法，那么我们返回他的实现类。吧需要的文件放入hdf 阅读全文

posted @ 2016-12-14 18:56 加拿大小哥哥阅读(1352) 评论(0) 推荐(0) 编辑

MapReduce实现手机上网日志分析（排序）

摘要：一、背景 1.1 流程实现排序，分组拍上一篇通过Partitioner实现了。实现接口，自动产生接口方法，写属性，产生getter和setter，序列化和反序列化属性，写比较方法，重写toString，为了方便复制写够着方法，不过重写够着方法map里需要不停地new，发现LongWritable 阅读全文

posted @ 2016-12-14 12:54 加拿大小哥哥阅读(841) 评论(0) 推荐(2) 编辑

2016年12月12日

2015级预开题

该文被密码保护。阅读全文

posted @ 2016-12-12 20:29 加拿大小哥哥阅读(0) 评论(0) 推荐(0) 编辑

MapReduce实现手机上网日志分析（分区）

摘要：一、问题背景实际业务的需要，比如以移动为例，河南的用户去了北京上网，那么他的上网信息默认保存在了北京的基站，那么我们想要查询北京地区的上网日志信息默认也包含了其他地区用户的在本区的上网信息，否则只能扫描日志找到北京，很慢，所以分区很需要。二、数据集分析查看电话号码一列，看前三位分为移动、联通和阅读全文

posted @ 2016-12-12 12:03 加拿大小哥哥阅读(1244) 评论(0) 推荐(2) 编辑

公告