2013 年 3月随笔档案 - Ruthless

CentOS安装OpenOffice

摘要：yum install openoffice.org-writeryum install openoffice.org-calcyum install openoffice.org-draw openoffice.org-impress测试OpenOffice,点击桌面左上角的“应用程序”，点击“办公”，点击“OpenOffice.org Writer” 阅读全文

posted @ 2013-03-25 16:28 Ruthless 阅读(3601) 评论(0) 推荐(0) 编辑

CentOS安装zip及用法

摘要：在CentOS中安装完rar命令，会自动安装zip命令。具体安装请点击这里。以下命令均在/home目录下操作cd /home #进入/home目录1、把/home目录下面的mydata目录压缩为mydata.zipzip -r mydata.zip mydata #压缩mydata目录2、把/home目录下面的mydata.zip解压到mydatabak目录里面unzip mydata.zip -d mydatabak3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zipzip -r abc123.zip abc 123.txt4、把/home目录下面的wwwroo 阅读全文

posted @ 2013-03-24 23:11 Ruthless 阅读(11972) 评论(0) 推荐(0) 编辑

CentOS安装rar及用法

摘要：安装步骤如下：1、下载rar安装包下载地址：http://www.rarsoft.com/download.htm，根据操作系统选择对应的二进制安装包，我的CentOS操作系统为64bit，因此下载的rar为rarlinux-x64-4.2.0.tar.gz。2、安装rar[root@localhost 下载]# ls #查看已下载的rar安装包rarlinux-32bit-4.2.0.tar.gz rarlinux-x64-4.2.0.tar.gz[root@localhost 下载]# tar -zxvf rarlinux-x64-4.2.0.tar.gz #解压rarrar/rar/. 阅读全文

posted @ 2013-03-24 21:45 Ruthless 阅读(35258) 评论(0) 推荐(0) 编辑

删除CentOS系统自带的jdk

摘要：在安装CentOS6.4时，系统会自动安装jdk，先把它下载掉，装上自定义的jdk。卸载步骤如下：阅读全文

posted @ 2013-03-23 17:14 Ruthless 阅读(9604) 评论(0) 推荐(0) 编辑

Centos系统常见问题

摘要：1. sudo无法使用问题[root@bogon 下载]# sudo gedit text.txt sudo：/etc/sudoers 属于用户 ID 711，应为 0sudo：没有找到有效的 sudoers 资源，退出sudo：无法初始化策略插件解决办法: /etc/sudoers所属用户为711，把/etc/sudoers所属用户改为root即可解决。chown -R root:root /etc/sudoers 2. Linux常见问题解决办法阅读全文

posted @ 2013-03-21 15:12 Ruthless 阅读(836) 评论(0) 推荐(0) 编辑

zookeeper配置文件详解

摘要：zoo.cfg配置文件配置参数详解(主要是$ZOOKEEPER_HOME$/conf/zoo.cfg文件) 参数名说明 clientPort 客户端连接server的端口，即对外服务端口，一般设置为2181吧。 dataDir 存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这阅读全文

posted @ 2013-03-16 15:47 Ruthless 阅读(5423) 评论(0) 推荐(0) 编辑

ZooKeeper安装与配置

摘要：一. 单机安装、配置：1. 下载zookeeper二进制安装包下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz2.解压zookeeper安装包把zoo 阅读全文

posted @ 2013-03-16 11:12 Ruthless 阅读(70492) 评论(4) 推荐(1) 编辑

Mahout安装与配置

摘要：Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多，并不复杂，这里不再讲述，接下来阐述怎么安装Mahout。1：下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载，我选择下载二进制包，直接解压及可。hadoop@ubuntu:~$ tar -zxvf mahout-distribution-0.7.tar.gz 2：配置环境变量：在/etc/profile，/home/hadoop/.bashrc中添加如下红色信息#set java environmentMAHO 阅读全文

posted @ 2013-03-15 16:18 Ruthless 阅读(31308) 评论(8) 推荐(3) 编辑

hadoop异常

摘要：1. org.apache.pig.backend.executionengine.ExecException: ERROR 4010: Cannot find hadoop configurations in classpath (neither hadoop-site.xml nor core-site.xml was found in the classpath).If you plan to use local mode, please put -x local option in command line显而易见，提示找不到与hadoop相关的配置文件。所以我们需要把hadoop安装阅读全文

posted @ 2013-03-13 11:27 Ruthless 阅读(19349) 评论(1) 推荐(1) 编辑

pig实例一

摘要：这里我们给出一个学生表(学号，姓名，性别，年龄，所在系)，其中含有如下几条记录并保存在/home/hadoop/ziliao/student.txt文件： 201000101:李勇:男:20:计算机软件与理论 201000102:王丽:女:19:计算机软件与理论 201000103:刘花:女:18: 阅读全文

posted @ 2013-03-12 21:55 Ruthless 阅读(2437) 评论(0) 推荐(0) 编辑

pig grunt shell详解

摘要：输入pig -x local此时pig和本地的文件系统交互，省略“-x local”，pig和hdfs交互。1、在pig中执行HDFS的命令hadoop@ubuntu:~$ piggrunt> fs -ls /grunt> cat filename #打印文件的内容grunt> copyFromLo 阅读全文

posted @ 2013-03-11 16:42 Ruthless 阅读(2354) 评论(0) 推荐(0) 编辑

pig-0.9.2安装和配置

摘要：在安装Pig之前，Hadoop环境已经搭建完成，因此这里直接从安装Pig开始。1. 下载Pig安装包Pig-0.9.2下载地址：http://mirror.bjtu.edu.cn/apache/pig/pig-0.9.2/在以上地址选择pig-0.9.2.tar.gz文件，也就是linux系统的压缩阅读全文

posted @ 2013-03-11 16:20 Ruthless 阅读(1745) 评论(0) 推荐(0) 编辑

hadoop配置

摘要：1.hadoopa.sudo gedit /home/hadoop/hadoop-1.1.1/conf/core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-datastore/</value> <description>A base for other temporary directories.</description> </property> & 阅读全文

posted @ 2013-03-11 15:25 Ruthless 阅读(489) 评论(0) 推荐(0) 编辑

Hbase shell详情

摘要：HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase 之后,用户可以通过下面的命令进入 HBase Shell 之中,命令如下所示:hadoop@ubuntu:~$ hbase shellHBase Shell; enter 'help<RETURN& 阅读全文

posted @ 2013-03-08 10:08 Ruthless 阅读(38253) 评论(3) 推荐(3) 编辑

实战2——Hadoop的日志分析

摘要：1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2013-03-06 15:23:48,132 INFO org.apache.hadoop.hdfs.server.datanode.DataNode 阅读全文

posted @ 2013-03-07 14:57 Ruthless 阅读(14696) 评论(1) 推荐(0) 编辑

实战1——Hive与JDBC示例

摘要：在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: hive -service hiveserver & 1). 测试数据userinfo.txt文件内容(每行数据之间用tab键隔开): 1 xiapi 2 xiaoxue 3 qingqing 阅读全文

posted @ 2013-03-07 13:05 Ruthless 阅读(24421) 评论(2) 推荐(1) 编辑

hadoop整合纪要

摘要：版本：hadoop-1.1.1，hbase-0.94.3，hive-0.9.0一. 版本兼容1. hadoop-1.1.1与hbase-0.94.3$HADOOP_HOME/hadoop-core-*.*.*.jar和$HADOOP_HOME/lib/commons-configuration-*.*.jar拷贝到$HBASE_HOME/lib目录下，删除$HBASE_HOME/lib目录下的hadoop-core-*.jar，避免版本冲突和不兼容。2. hbase-0.94.3和hive-0.9.0$HIVE_HOME/lib/hbase-0.92.0.jar和$HIVE_HOME/lib/ 阅读全文

posted @ 2013-03-07 10:05 Ruthless 阅读(1016) 评论(0) 推荐(0) 编辑

Eclipse中按Tab键为8个空格

摘要：Window-->Preferences-->Java-->Code Style-->Formatter需要自己新建个Formatter，否则提示无法编辑，此为默认设置；然后选择右边Edit按钮，在Indentation-->General Settings页中Tab policy右边的下拉框，选择Space only!然后下面的Indentation size和Tab size都设置成你要的空格数即可！一般是8个空格！！注意：3.6之前版本好像设置Window-->Preferences-->General-->Editors-->Tex 阅读全文

posted @ 2013-03-06 16:49 Ruthless 阅读(3510) 评论(2) 推荐(0) 编辑

ubuntu下hbase的伪分布式安装与配置

摘要：1.hadoop版本：hadoop-1.1.1，HBase版本：hbase-0.94.32.到官方网站下载好hbase-0.94.3.tar.gz，解压hbase安装包到一个可用目录如(/home/hadoop/hbase-0.94.3/)root@ubuntu:/home/hadoop# sudo tar zxvf hbase-0.94.3.tar.gz设置hbase-0.94.3所在用户为hadoop，所在组为hadoop(root用户操作)root@ubuntu:/home/hadoop# chown -R hadoop hbase-0.94.3root@ubuntu:/home/had 阅读全文

posted @ 2013-03-06 15:32 Ruthless 阅读(8816) 评论(0) 推荐(1) 编辑

HiveQL详解

摘要：HiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于Hadoop云平台这一特性决定的, 但其有些特点是SQL所无法企及的。例如多表查询、支持create table as select和集成MapReduce脚本等, 本节主要介绍Hive的数据类型和常用的HiveQL操作。1.hive client命令a.hive命令参数-e: 命令行sql语句-f: SQL文件-h, --help: 帮助--hiveconf: 指定配置文件-i: 初始化文阅读全文

posted @ 2013-03-05 15:51 Ruthless 阅读(23945) 评论(1) 推荐(5) 编辑

linux创建用户并授予sudo权限

摘要：1. 新建用户root@ubuntu:~# adduser hadooproot@ubuntu:~# passwd hadoop #为hadoop用户设置密码2. 为hadoop用户添加sudo权限root@ubuntu:~# sudo gedit /etc/sudoers把root那行复制后改成hadoop，hadoop就有了sudo权限，需要sudo密码则为ALL，不需要则NOPASSWD:ALL。root ALL=(ALL) NOPASSWD:ALLhadoop ALL=(ALL:ALL) ALL 阅读全文

posted @ 2013-03-04 18:46 Ruthless 阅读(22492) 评论(1) 推荐(0) 编辑

Hive集成Mysql作为元数据

摘要：默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下几步骤:第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务。此步省略，具体请看http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942497.html第二步:安装Hive此步省略，具体请看http://www.cnblogs.com/linjiqin/arc 阅读全文

posted @ 2013-03-04 16:56 Ruthless 阅读(33741) 评论(7) 推荐(3) 编辑

ubuntu下安装mysql及卸载mysql方法

摘要：1. 删除mysqla. sudo apt-get autoremove --purge mysql-server-5.0b. sudo apt-get remove mysql-serverc. sudo apt-get autoremove mysql-serverd. sudo apt-get remove mysql-common (非常重要)上面的其实有一些是多余的，建议还是按照顺序执行一遍2. 清理残留数据dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P3. 安装 mysqla. sudo apt-get 阅读全文

posted @ 2013-03-04 11:35 Ruthless 阅读(17877) 评论(0) 推荐(0) 编辑

Mysql常用命令详解

摘要：Mysql安装目录数据库目录/var/lib/mysql/配置文件/usr/share/mysql（mysql.server命令及配置文件）相关命令/usr/bin(mysqladmin mysqldump等命令)启动脚本/etc/init.d/mysql（启动脚本文件mysql的目录）系统管理连接MySQL格式: mysql -h 主机地址 -u用户名 -p用户密码例 1:连接到本机上的 MySQL。hadoop@ubuntu:~$ mysql -uroot -pmysql;例 2:连接到远程主机上的 MYSQL。hadoop@ubuntu:~$ mysql -h 127.0.0.1 -u 阅读全文

posted @ 2013-03-01 20:19 Ruthless 阅读(94518) 评论(6) 推荐(12) 编辑

搜索

常用链接

我的标签

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论