摘要:
1. Run on Hadoop1.1 Q:点击没有反应 A:Eclipse版本不对,或者插件不对1.2 Q: 作业在运行,但是没有输出 A:将Hadoop退出安全模式:hadoop dfsadmin -safemode leave。 代码设置:conf.set("hadoop.job.ugi", "root,06372017"); //设置hadoop server用. 阅读全文
摘要:
本代码包含功能:获取DataNode名,并写入到HDFS文件系统中的文件hdfs:///copyOftest.c中。并计数文件hdfs:///copyOftest.c中的wordcount计数,有别于Hadoop的examples中的读取本地文件系统中的文件,这次读取的是HDFS中的文件。package com.fora;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSData 阅读全文
摘要:
IDE:Eclipse第一个程序操作HDFS。1.创建Java工程打开eclipse,选择“File -> New -> Java Project”,新建一个“Java Project”,进入“New JavaProject”对话框,将“Project name”设置为“Demo”,选中“DFSOperator”,并单击右键,选择“New -> Class”菜单,新建“Name”为“Test”<com.fora>的class,并选中自动创建main 函数,2.配置编译参数<可选,如果已经将Hadoop插件装入Eclipse>============== 阅读全文
摘要:
这里两台虚拟机Fedora192.168.233.129 兼做namenode及datanode192.168.233.133 datanode1. 安装jdk,并配置2.下载hadoop,解压:/usr/hadoop/hadoop-0.20.23. 修改/etc/hosts /etc/sysconfig/network 文件hosts:127.0.0.1 localhost 192.168.233.129 master 192.168.233.133 slave1 192.168.233.130 slave2/etc/sysconfig/network 修改机器名NETWORKING=yes 阅读全文
摘要:
1. yum 安装 mysql一、[root@sample ~]# yum -y install mysql-server ← 安装MySQL.....略Installed: mysql-server.i386 0:4.1.20-1.RHEL4.1Dependency Installed: mysql.i386 0:4.1.20-1.RHEL4.1 perl-DBD-MySQL.i386 0:2.9004-3.1 perl-DBI.i386 0:1.40-8Complete!二、配置[root@sample ~]# vi /etc/my.cnf ← 编辑MySQL的配置文件[mysqld]da 阅读全文
摘要:
参加了两天的云计算大会,脑容量明显感觉不够用,不过总算是有点收获,趁还清醒赶紧总结了一下,两天可不能白过~尤其是那的午饭30块一份,30啊,伤不起~~本人刚刚开始接触这个领域,本着跟大家分享交流的目的,有些个人思想还很不成熟,希望能有大牛给点指点。以下分四部分将参加本次大会的收获与大家分享:一、全体大会:云计算核心技术与应用方案展示会议一:运营商的云计算演进之路---李正茂移动副总裁现状:1.全球电信运营业增速减缓,低于全球经济增长速度。2.移动互联网和智能终端的发展使运营商趋于管道化的危机,即“哑管道”和“傻笨管道”,如何改造机制把移动运营商打造成为智能管道是一个很大的问题。3.数据将成为战 阅读全文
摘要:
u盘引导安装centos5公司刚刚买了一台服务器,系统选定为Centos5.6,因为没有USB光驱,尝试过移动硬盘安装,阅遍教程,无功而返,最后尝试U盘安装,启动,安装一切成功,可是安装完成后需要U盘才能启动,原来是在安装过程中要选择GRUB引导安装位置,因为这个错误白白安了半天!最后终于找到一个文档里面有介绍解决办法,感谢谷歌!(虽然文档是在百度文库中找到的…)Centos5.6下载地址制作U盘启动过程准备的材料:1、8GB U盘一个2、centos iso3、UltraISO制作开始:1、插入8GB U盘2、用UltraISO打开CentOS.iso3、点击启动->写入硬盘映像-&g 阅读全文
摘要:
在Unix/Linux下共有五种I/O模型,分别是:1)阻塞I/O2)非阻塞I/O3)I/O复用(select和poll)4)信号驱动I/O(SIGIO)5)异步I/O(Posix.1的aio_系列函数)这几个模型,有时还真把我给弄糊涂了,今天就特意来总结比较一下:阻塞I/O:应用程序调用一个IO函数,导致应用程序阻塞,等待数据准备好。 如果数据没有准备好,一直等待….数据准备好了,从内核拷贝到用户空间,IO函数返回成功指示非阻塞I/O:我们把一个套接口设置为非阻塞就是告诉内核,当所请求的I/O操作无法完成时,不要将进程睡眠,而是返回一个错误。这样我们的I/O操作函数将不断的测试数据是否已经准 阅读全文
摘要:
进程,线程通信与同步1.0Linux进程间通讯管道/FIFO:管道中还有命名管道和非命名管道(即匿名管道)之分,非命名管道(即匿名管道)只能用于父子进程通讯,命名管道可用于非父子进程,命名管道就是FIFO,管道是先进先出的通讯方式 消息队列:消息队列是用于两个进程之间的通讯,首先在一个进程中创建一个消息队列,然后再往消息队列中写数据,而另一个进程则从那个消息队列中取数据. 需要注意的是,消息队列是用创建文件的方式建立的,如果一个进程向某个消息队列中写入了数据之后,另一个进程并没有取出数据,即使向消息队列中写数据的进程已经结束,保存在消息队列中的数据并没有消失,也就是说下次再从这个消息队列读数据 阅读全文