My Technology Home

摘要： ftp xx.xx.xx.xx //登陆目标主机的ftp服务器lcd /home/cloud/jar //设置下载文件的本地存放目录get ... //下载文件到本地存放目录（或利用wget ftp://xx.xx.xx.xx/filename）delete xxx //删除ftp服务器上的文件put xxx //上传本地目录中的文件可惜还没解决出现中文乱码的问题，忘高手相助哦。。。。。。 查看是否安装了ftp rpm -qa|grep -i ftp 阅读全文

摘要： 倘若在工作区有两个项目A和B，它们所用jar包相同，如果A项目的jar包已经引入，我们不想在将大量的相同的jar包重新引入B项目，两步即可完成，步骤如下：在A项目上点右键看属性，点击Build Path---＞Conconfigure Build Path-->Order and Export，在jar包前面打钩；在B项目上点右键看属性，点击Build Path---＞Conconfigure Build Path-->Projects--Add，选择A项目，点击OK即可。 阅读全文

摘要： 最近看jquery，发现用它真是太方便啦，现以对输入内容是否为中文的验证为例，回顾一下使用过程。 首先我们新建一个validate_by_myself.js文件：$(document).ready(function(){//中文的验证jQuery.validator.addMethod("chinese", function(value, element) { var chinese = /^[\u4e00-\u9fa5]+$/; return this.optional(element) || (chinese.test(value));}, "只能输入中文&q 阅读全文

摘要： 将项目打成jar的步骤：选中所要打包的项目，右键后点击Export,选中JAR file把.classpath和.project前面的"对钩"去掉，指定导出路径在命令行执行：hadoop jar xxx.jar xxxx.xxx（包名加上类名） input output这样mapreduce程序就能够在集群上运行了 阅读全文

摘要： 将FairScheduler从HADOOP_HOME/bulid/contrib 复制到 HADOOP_HOME/lib目录下配置mapred-site.xml文件，添加如下信息<property><name>mapred.jobtracker.taskScheduler</name><value>org.apache.hadoop.mapred.FairScheduler</value></property>重启hadoop服务，在浏览器中键入http://<jobtracker:50030>/schedul 阅读全文

摘要： 我们通过在命令行输入start-all.sh启动hadoop服务，该脚本通过SSH运行各个节点上的TaskTracker类的main()来启动TaskTracker，它是作为一个单独的JVM来运行的。TaskTracker类实现了MapReduce模型中的TaskTracker的功能。TaskTracker的main函数如下： main（）{ TaskTracker tt = newTaskTracker(); tt.run();.......}TaskTracker的run()方法主要调用了offerService()，其主要代码如下：while (running && !s 阅读全文

摘要： 堆的定义如下： n个元素的序列{k0,k1,...,ki,…,k(n-1)}当且仅当满足下关系时，称之为堆。 " ki<=k2i,ki<=k2i+1;或ki>=k2i,ki>=k2i+1.（i=1,2,…,[n/2])" 若将和此次序列对应的一维数组（即以一维数组作此序列的存储结构）看成是一个完全二叉树， 则完全二叉树中每一个节点的值的都大于或等于任意一个字节的值（如果有的话），称之为大顶堆。 则完全二叉树中每一个节点的值的都小于或等于任意一个字节的值（如果有的话），称之为小顶堆。 由此，若序列{k0,k1,…,k(n-1)}是堆，则堆顶元素（或完全 阅读全文

摘要： 花了几天的功夫，终于，完成了hadoop完全分布式模式的配置，总共有四个节点（NameNode,DataNode01、DataNode02、DataNode03）组成，网络拓扑图如下图所示：配置中，应注意以下几点：hadoop-env.sh中，应修改JAVA_HOME和HADOOP_PID_DIR=${HADOOP_HOME}/pids，默认情况下，各个进程的pid保存在/tmp目录下，linux倘若清空此目录下内容，我们便无法用stop-all.sh停止各个daemon，因为namenode找不到pid。切记要关闭个节点的防火墙 chkconfig --level 35 iptables o 阅读全文

摘要： 我们现有4台计算机A、B、C、D，现要求A能够无密码登陆到B、C、D，步骤如下：在A、B、C、D主机上安装ssh,即 yum install ssh在A、B、C、D上安装ssh客户端 yum install openssh-clients启动ssh /sbin/service sshd start设置开机启动 chkconfig sshd on配置sshd文件 vi /etc/ssh/sshd_config RSAAuthentication... 阅读全文

摘要： 给普通用户授权 最简单的方式是用visudo命令，在root ALL=(ALL) ALL下面一行添加需授权的用户，具体如下（以用户名cloud为例）：cloud ALL=(ALL) ALL，cloud用户每次在执行命令时只需在前面添加sudo即可。修改主机名 分三步来完成：（1）用hostname xxx (2) vi /etc/sysconfig/network将HOSTNAME的值改为xxx（3）vi /etc/hos... 阅读全文