摘要： landen@Master:~/UntarFile/hadoop-1.0.4$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -mapper home/landen/UntarFile/hadoop-1.0.4/PythonMR/wordMapper.py -reducer /home/landen/UntarFile/hadoop-1.0.4/PythonMR/wordReducer.py -input /input/* -output wordCountOutputWarning: $HADOOP_HOME is d 阅读全文

摘要： http://blog.csdn.net/zhaoyl03/article/details/8657031 阅读全文

摘要： 转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。[python] import time import datetime from datetime import date import sys import os tablename=sys.argv[1] backupDst=sys.argv[2] today=date.today() if today.day == 15: //ever... 阅读全文

摘要： 今天装了Ubuntu，但是发现不能上网，开始排查问题：1、首先确定网络连接是否正确，所用的网线是否可以正常工作2、查看网卡是否能正常工作，检测的方法如下：a、ping 127.0.0.1b、ping 静态网关地址c、ping 主机名（hostname就可以看到主机名）3、看网卡地址是否配置正确（ifconfig命令看本地主机的网卡信息，和DNS、Default getway、Sever地址进行比对，看网卡地址是否正确）我的设备问题出在第三个方面，然后修改网卡的配置信息，使用命令如下：（当然利用图形窗口完全可以，我这里只是为了学习Linux而用的）一、使用命令设置ubuntu的ip地址1.修改配 阅读全文

摘要： 1，压缩备份： tar cfvj /tmp/test.tar.bz2 /tmp/test tar cfvz /tmp/test.tar.gz /tmp/test tar xfvj /tmp/test.tar.bz2 tar xfvz /tm/test.tar.gz 解释：tar为打包指令， c:打包， f:生成目标文件， v：显示压缩过程， j:压缩后的格式为bz2， z:压缩后的格式为gz， x:解包； 查看一下压缩包的内容：tar ftz /tmp/test.tar.bz2；landen@Master:~/UntarFile/hadoop-1.0.4$ sudo apt-get insta 阅读全文

摘要： 方法 1: Restoring HBase data by importing dump files from HDFS The HBase Import utility is used to load data that has been exported by the Export utility into an existing HBase table. It is the process to restore data from the Export utility backup solution.Note : 1. 导入的元数据及数据必须与之前导出的表一一对应（相同的表和相同的列簇） 阅读全文

摘要： There are two strategies for backing up HBase：1> Backing it up with a full cluster shutdown2> Backing it up on a live cluster3> Backing Up and Restoring HBase Data A full shutdown backup has to stop HBase (or disable all tables) at first, then use Hadoop's distcp command to copy the con 阅读全文

摘要： hbase一般用于大数据的批量分析，所以在很多情况下需要将大量数据从外部导入到hbase中,hbase提供了一种导入数据的方式，主要用于批量导入大量数据，即importtsv工具,用法如下：Usage: importtsv -Dimporttsv.columns=a,b,c Imports the given input directory of TSV data into the specified table.The column names of the TSV data must be specified using the -Dimporttsv.columnsoption. Th. 阅读全文

摘要： 法一：hive (stuchoosecourse) > insert overwrite local directory '/home/landen/文档/exportDir' > select * from hiddenipinfo;Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks is set to 0 since there's no reduce operatorStarting Job = job_201312042044_0026, Tracking UR 阅读全文

摘要： 修改HBase表结构之前首先需要disable表，然后进行更改相关表结构信息，最后enable表，如下1. 动态添加一个或多个列簇hbase(main):034:0> describe 'HiddenIPInfo'DESCRIPTION ENABLED 'HiddenIPInfo', {NAME => 'IPAddress', DATA_BLOCK_ENCODING => 'NONE', BLOOMFI true LTER => 'NONE', REPLICATION_SCOPE => 阅读全文