摘要： 默认的方式下linux会把文件访问的时间atime做记录，这在绝大部分的场合都是没有必要的，如果遇到机器IO负载高或是CPU WAIT高的情况，可以尝试使用noatime和nodiratime1、修改/etc/fstab，类似LABEL=/ / ext3 defaults 1 1改成LABEL=/ / ext3 defaults,noatime,nodiratime 1 1或者LABEL=/ / ext3 defaults,relatime 1 12、remount分区mount -o remount /remount这个动作大可放心执行，顶多冒点汗。如果不想改fstab，或者fstab中没有 阅读全文

摘要： Hadoop安装时需要指定HADOOP_HOME位置。可以使用如下三种export方法：1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME\bin#看是否已经设好，可用命令export查看：#export注意： 直接用export命令只会对当前shell窗口起作用，重启或者重新打开shell窗口时，环境变量就会丢失。 2、修改全局profile文件（本人强烈建议安装hadoop时创建一个 阅读全文

摘要： 最近在学习 python 有些基本配置的问题，经试验，可行，摘录下来1、下载安装 Pythonpython-2.7.2.msi http://www.python.org/download/如下载 Python 2.7.2，安装目录为 C:\Python272、添加环境变量path = C:\Python27此步骤可实现在命令行下，不用进入 Python 目录即可执行 python.exe3、下载 setuptools注意对应 Python 的版本，完成后运行 exe 即可完成安装setuptools-0.6c11.win32-py2.7.exehttp://pypi.python.org/p 阅读全文

摘要： 1. 设置STATIC_ROOT = os.path.join(os.path.dirname(__file__),'static')2. 设置STATIC_URL = '/static/'3.配置STATICFILES_DIRSSTATICFILES_DIRS = ( ('css',os.path.join(STATIC_ROOT,'css').replace('\\','/') ), ('js',os.path.join(STATIC_ROOT,'js').rep 阅读全文

摘要： 当我们需要调用系统的命令的时候，最先考虑的os模块。用os.system()和os.popen()来进行操作，很多时候需要进行用户身份模拟或者用户切换，通过设置subprocess中的Popen的env变量可以实现相关功能。创建一个可以执行文件，文件命名为：echoenv.py，该文件的作用是显示当前系统用户，文件内容如下：import osprint(os.environ['USER'])执行代码如下：>>>import shlex, subprocess>>>command_line = raw_input()>>>py 阅读全文

摘要： 安装过程：1、首先，从oracle官网上下载相应版本的JDK，这里用的是jdk-6u33-linux-x64.bin2、拷贝到要安装JDK的目录下（本例为 /usr/local 目录下）3、修改为可执行：chmod 777 jdk-6u33-linux-x64.bin4、执行安装：./jdk-6u33-linux-x64.bin5、安装完成，可以看到jdk1.6.0_33目录已经生成了6、删除jdk-6u33-linux-x64.bin经过以上步骤后，JDK就已经安装完成了，但是还需要执行以下配置系统配置：1、使用VI编辑 /etc 下的 profile 文件2、在 export 命令之前添加 阅读全文

摘要： 如果你不想在mapreduce程序运行之前手动清除output目录，可以编写代码在程序运行之前清除output目录，具体做法如下：FileSystem fs =FileSystem.get(conf);Path output=new Path('/tmp/output');fs.delete(output,true);FileSystem.delete（Path f，Boolean recursive）可删除指定的HDFS文件，其中f为需要删除文件的完整路径，recuresive用来确定是否进行递归删除 阅读全文

摘要： 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号，所有在管理上最好让每个账号仅操作某一个目录，然后对目录设置配置。 设定方法有两种：Name Quotas：设置某一个目录下文件总数Space Quotas：设置某一个目录下可使用空间大小 默认情况下Hdfs没有任何配置限制，可以使用 hadoop fs -count 来查看配置情况 hadoop fs -count -q /user/seamon 以下是结果，none和inf表示没有... 阅读全文

摘要： 1. 处理hadoop的namenode宕机处理措施：进入hadoop的bin目录，重启namenode服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start namenode2. 处理hadoop的jobtacker宕机处理措施：进入hadoop的bin目录，重启jobtacker服务操作命令：cd path/to/hadoop/bin./hadoop-daemon.sh start jobtracker3. 处理hadoop的datanode宕机处理措施：进入hadoop的bin目录，重启datanode服务操作命令：cd path/to/ 阅读全文

摘要： 1.概述 Hadoop分布式文件系统（HDFS）对文件和文件夹的权限控制模型与POSIX文件系统的权限控制模型一样，每一个文件和文件夹都分配了所有者用户和所有者用户组。每个客户端访问HDFS的过程中，身份凭证由用户名和组列表两部分组成，Hadoop进行身份验证的时候，首先验证用户名，如果用户名验证不通过则验证用户组，如果用户名和用户组都验证失败则身份验证失败。 2.身份验证模式 Hadoop支持2种不同的身份验证模式，可以通过hadoop.security.authentication属性进行配置：simple 在simple身份认证模式下，用户的身份信息就是客户端的操作系统的登录... 阅读全文