摘要:
1.前言刚接触mapreduce的人肯定为碰到这样的问题,就是我们在程序中如下类似的命令System.out.println(year+" "+airTemperature);//无效,控制台没有输出。但是console控制台不给我们输出相应的结果,这对于很多通过System.out来调试的人来说,会是一个很头疼的事情,我也对这个很头疼。昨天在看《hadoop权威指南第二版》的第五章的时候,书中有介绍通过web界面来浏览hadoop的作业信息,发现在web界面中能看到许多作业的相关信息。并且知道mapreduce的作业信息都写在了用户日志中,存放在目录hadoop_home 阅读全文
摘要:
参考文献:myeclipse+jboss开发EJB3.0之实体BeanMyEclipse+JBoss开发EJB3.0ejb3.0中persistence.xml文件EJB项目中Persistence.xml配置一. 配置 Jboss有一个默认的数据源DefaultDS,他使用Jboss内置的HSQLDB数据库。实际应用中你可能使用不同的数据库,如MySql、MsSqlServer、Oracle等。各种数据库的数据源配置模版你可以在[Jboss_home]\docs\examples\jca 目录中找到,默认名称为:数据库名+ -ds.xml 。不管你使用那种数据库都需要把他的驱动类Jar .. 阅读全文
摘要:
配置数据源文件mysql-ds.xml, 放入目录${jboss_home}/server/default/deploy中,这里顺便记录一下mysql-ds.xml的格式,如下:<?xml version="1.0" encoding="UTF-8"?> <!-- $Id: mysql-ds.xml 41017 2006-02-07 14:26:14Z acoliver $ -->
<!-- Datasource config for MySQL using 3.0.9 available from:
http://www. 阅读全文
摘要:
参考文献:http://www.hadooper.cn/dct/page/657771排序实例排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。输入和输出必须是顺序文件,键和值是BytesWritable.mapper是预先定义的IdentityMapper,reducer 是预先定义的 IdentityReducer, 两个都是把输入直接的输出。要运行这个例 子:bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>] <in-dir> <out- 阅读全文
摘要:
参考文献:http://www.hadooper.cn/dct/page/657781.概述RandomWriter(随机写)例子利用 Map/Reduce把 数据随机的写到dfs中。每个map输入单个文件名,然后随机写BytesWritable的键和值到DFS顺序文件。map没有产生任何输出,所以reduce没有执行。产生的数据是可以配置的。配置变量如下名字默认值描述test.randomwriter.maps_per_host10每个节点运行的map任务数test.randomwrite.bytes_per_map1073741824每个map任务产生的数据量test.randomwrit 阅读全文
摘要:
今天跑了一个ShowFileStatusTest程序,第一次看到一个没有main函数也能跑的测试程序。要学习以下怎么使用这个工具。 阅读全文
摘要:
将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。可以通过以下命令来手动离开安全模式:bin/hadoop dfsadmin -safemode le 阅读全文
摘要:
参考文献http://hi.baidu.com/xiboliya/blog/item/015ead864e041b2a67096eda.html正文Ubuntu-10.10系统安装过程中,系统会提示建立一个默认用户,比如用户名为:xuwei。这个默认用户具有一定的管理功能,即可以通过sudo命令执行root权限的操作。由于Ubuntu系统不允许通过root用户登录系统,所以这个默认用户即是实际意义上的管理员。现在的问题是:如果新建一个用户:hadoop,然后要将此用户设置为与xuwei相同的管理员用户。此问题有2种方式实现:界面方式。用xuwei登录系统,通过选择菜单:系统->系统管理- 阅读全文
摘要:
以前都是在单机模式下搭建hadoop进行运作,今天试着在两台机器上搭建,就出现了一堆问题。现在汇总注意事项1.Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的帐户我第一台机器上使用都用户名是hadoop,第二台使用都就是xuwei了,这样导致了很多问题。如果早知道必须使用相同都用户名,当时就不这么麻烦了。2.格式化HDSF在启动hadoop服务./start-all.sh 之前,我们必须进行HDSF,使用如下命令./hadoop namenode -format 如果不进行HDSF格式化的话,可能会出现没有namenode或者datanode的错误。3.. 阅读全文
摘要:
一台电脑只有一个计算机名,但是可以有多个用户。当我们打开终端terminal的时候,会看到第一行为:hadoop@xuwei-laptop:~$ 这就表示当前用户名为:hadoop,计算机名为xuwei-laptop。那么我们如何修改计算机名呢?只需要输入如下命令:sudo gedit /etc/hostname 将打开的文件中的xuwei-laptop改成我们需要的计算机名即可。 阅读全文
摘要:
参考文献:http://space.itpub.net/11134237/viewspace-617951 数据表的连接有:1、内连接(自然连接): 只有两个表都相匹配的行才能在结果集中出现2、外连接: 包括(1)左外连接(左边的表不加限制),右表补null (2)右外连接(右边的表不加限制) ,左表补null (3)全外连接(左右两表都不加限制) ,左右两表空缺行补null3、自连接(连接发生在一张基表内)select a.studentno, a.studentname, b.classname from students a, classes b where a.classid(+) = 阅读全文
摘要:
ORDER子句按一个或多个(最多16个)字段排序查询结果,可以是升序(ASC)也可以是降序(DESC),缺省是升序。ORDER子句通常放在SQL语句的最后。ORDER子句中定义了多个字段,则按照字段的先后顺序排序。例:SELECT ProductName,UnitPrice, UnitInStock FROM Products ORDER BY UnitInStock DESC , UnitPrice DESC, ProductName 如果order by的不是数字,而是varchar类型,需要进行cast转换,也可以多条件,如下所示order by cast(m.PROCESS_CAR.. 阅读全文
摘要:
1.问题有时候我们会把网页上我信息打印出来,但偏偏打印机在打印完成后最后会把网页的地址也打印出来,这样就会影响打印好的文件的美观,下面教大家如何去除这个网址的打印:2.原因之所以会才出现网址,是因为我们网页页面设置带有页眉和页脚。在浏览器中打开“文件->页面设置”,如下图所示:打开以后会出现如下界面:我们只需要将页面页脚中的内容全部设为空即可,如下图所示: 阅读全文
摘要:
administrator是用户,而administrators是用户组(不是用户,电脑是没办法新建administrators这个“用户”的)。既然是组,就要有成员。默认下前者就是后者的成员。当然你还可以继续添加成员,在同一用户组下的成员有一样的权限,所以你新建一个ABC用户后,往组里面加,那ABC就是一个系统管理员了,非家庭版的系统可以通过 lusrmgr.msc 来管理用户和组的关系。另外需要注意的是,原系统的administrator和administrators是可以修改名称的,但却不能删除。1.右击我的电脑 ->管理 ->本地用户和组 ->用户 (然后在右边空白处 阅读全文
摘要:
http://kidiaoer.iteye.com/blog/1064902在oracle中,如果对varchar类型求max会发现9比10大,这是因为数据类型的原因,我们需要将varchar转换成number类型。方法是使用to_number()函数。例子:insert into icache_server_info(cache_server_id,cache_server_address) values((select max(to_number(cache_server_id))+1 from icache_server_info),#cache_server_address#) var 阅读全文
摘要:
转自:http://www.kinggoo.com/archives/sys-windows-jihuarenwu.html一.通过服务启动计划我的电脑右键属性》管理》服务》“找到Task Scheduler”》属性,启动类型改为自动,然后点“启动”二.通过组策略来修改1、开始菜单->运行->输入 GPEDIT.MSC2、计算机配置 -> Windows 设置 ->安全设置 -> 本地策略-> 用户权力指派 -> 右键“从网络访问此计算机” ->添加用户或组(将可以运行的用户添加上)->属性 -> 确定3、计算机配置 ->Win 阅读全文
摘要:
在组策略中发现“帐户: 使用空密码的本地帐户只允许进行控制台登录”选项是无法修改的,因为考虑到组策略和注册表一一对应,因此这里考虑直接使用注册表来修改。修改方法:找到注册表中如下键值:[HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Control\Lsa]"limitblankpassworduse"=dword:00000001。如下图所示:解释说明:很多人的帐户是不加密码的。这样,当局域网中别的电脑访问本机时,会弹出错误提示:登录失败:用户帐户限制………。这是XP系统的一条安全策略造成的,防止别人趁你空密码时进入你的电脑。如果你觉得无所 阅读全文
摘要:
成功安装oracle,使用oracle sqldeveloper和navicat都能够在本地登录,但是在局域网内的其他机器上无法连接,出现各种错误。这个主要原因是我们在服务器上开了防火墙,将我们的远程访问给屏蔽了,简单的方法是关闭防火墙,或这个是将oracle添加到可信任列表中。 阅读全文
摘要:
解决方法是:在提示的路径下创建一个叫做OCS4J.properties的文本文件,并把如下内容copy到创建的这个文件里:# discoveryAddress is a list of cache servers and ports discoveryAddress = %s_hostName%:%s_cachePort% diskPath = %s_diskPath% logFileName = %s_ocs4jAdmin%\logs\ocs4j.log - 阅读全文
摘要:
1.参考文献:http://archive.cnblogs.com/a/1520906/http://blog.oracle.com.cn/html/07/t-86007.htmlhttp://feng10251225.blog.163.com/blog/static/6312279820089154288377/http://space.itpub.net/12330444/viewspace-620190http://topic.csdn.net/t/20040511/08/3052489.html2.步骤实现方法:1、 开始->设置->控制面板->管理工具->服务 停止所有Oracle服 阅读全文