2017年11月14日
轻量级RPC
摘要： ①自定义一个协议接口继承VersionedProtocol ②自定义协议类实现上面的接口，完善功能需求 ③服务端 ④客户端 二：模拟一个namenode 阅读全文
posted @ 2017-11-14 09:40 ccdh 阅读(131) 评论(0) 推荐(0) 编辑
2017年11月13日
伪分布式&&完全分布式&&高可用（zookeeper）的配置文件内容
摘要： 【伪分布式】 ①[core-site.xml] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property></configuration> ②[mapred-sit 阅读全文
posted @ 2017-11-13 17:46 ccdh 阅读(246) 评论(0) 推荐(0) 编辑
配置ssh免密登录
摘要： 安装ssh sudo apt-get install ssh 产生密钥：ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa (rsa为ssh的加密方式，-f为将产生的密钥放在.ssh/id_rsa中) （产生密钥之后.ssh文件中会有id_rsa(私钥)和id_rsa. 阅读全文
posted @ 2017-11-13 16:55 ccdh 阅读(431) 评论(1) 推荐(0) 编辑
linux配置hadoop集群
摘要： ①安装虚拟机 ②为虚拟机添加共享文件 右击已经安装好的虚拟机 设置—>选项—>共享文件 ③配置映射 sudo nano /etc/network/interfaces 重启网络：sudo /etc/init.d/networking restart(如果网络重启失败则重启虚拟机：sudo reboo 阅读全文
posted @ 2017-11-13 16:30 ccdh 阅读(574) 评论(0) 推荐(0) 编辑
hadoop中发送文件的脚本
摘要： 多台主机执行相同的命令 [xcall] [/usr/local/bin] sudo nano xcall #!/bin/bash #获取参数个数 pcount=$# if(pcount<1);then echo no agrs exit; fi for((host=100;host<103;host 阅读全文
posted @ 2017-11-13 15:24 ccdh 阅读(242) 评论(1) 推荐(0) 编辑
DBWritable的使用
摘要： 首先导入mysql连接驱动jar包 或者maven模式下在pom.xml文件中追加： <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.38</versio 阅读全文
posted @ 2017-11-13 09:59 ccdh 阅读(729) 评论(0) 推荐(0) 编辑