11 2016 档案
摘要：0.说明 最近在CentOS6.5上安装mysql，想要知道具体的安装过程，不想要通过yum直接一键安装，折腾一番，但是总遇到些麻烦。于是将mysql文档中的关于如何在Linux上安装mysql的部分仔细的读了一遍，又Google了广大网友的经验贴。总结起来在CentOS或者Red Hat上安装my
阅读全文
摘要：标签： centos vnc 远程桌面 安装 详解 0.说明 安装服务的过程当中，最好是在联网环境下操作。由于涉及到远程连接的问题，系统的防火墙需要关闭，或者是做好相应的过滤策略。参考了网上很多大牛的意见和文章，结合自己的安装经历，现在总结一下。 1.下载并按照vnc server 1.1 检查是否
阅读全文
摘要：0.说明 从windows8拷了一些东西到移动硬盘，然后转到新安装的centos6.5系统上，但是插上移动硬盘的时候发现不能识别，无法正常挂载移动硬盘。到网上一搜，发现原来centos系统默认不识别NTFS格式的硬盘或者Ｕ盘。那怎么解决呢？办法有很多，有些大牛通过修改内核完美解决问题，但是对我等小菜
阅读全文
摘要：0. 说明 系统刚刚安装完之后，默认到/home有1.5TiB，而根分区只有200G。现在是要将VolGroup lv_home缩小到200G，并将剩余的空间添加给VolGroup lv_root。 1.查看磁盘使用情况 2.卸载/home 使用root权限操作： umount /home 如果提示
阅读全文
摘要：0.说明 Hadoop集群已经运行正常，现在新买了一些机子，要加入到集群里面增加新的节点。以下就是增加的过程。 1.配置运行环境 安装与master和其他slave相同的java环境，jdk版本要相同。具体安装过程这里不再赘述。 修改新节点的ip和主机名对应关系，修改/etc/hosts配置文件，定
阅读全文
摘要：0.说明 Linux系统下经常遇到文件或者文件夹的权限问题，或者是因为文件夹所属的用户问题而没有访问的权限。根据我自己遇到的情况，对这类问题做一个小结。 在命令行使用命令“ll”或者“ls a”，可以查看文件或者文件的权限： 其中“ rw r r ”表示权限，一共有十个字符。 第一个字符，如果是“
阅读全文
摘要：Hadoop1.2.1异常Bad connect ack with firstBadLink (No route to host ) 0.说明 Hadoop集群之前运行正常，增加了新节点之后，需要执行负载均衡等相关操作，执行过程当中出现问题。 1.运行异常 查看master上面的日志信息，发现： 也
阅读全文
摘要：1.登录 之后输入密码进行登陆 2.权限设置及说明 2.1添加远程ip访问权限 2.2命令解释 第一行中， 10.10.11.12 是阿里云内网的一个地址，这个是允许远程访问的IP的值。自行改为其他值。 root是账户名，后面的FEFJay是密码。 即，允许来自10.10.11.12的连接并使用 r
阅读全文
摘要：hive数据导入代码格式（会移动源文件位置）： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [partition (分区列名1=值1，分区列名2=值2,...)] 对以上公式细分，Hive有好几种常见的数据
阅读全文
摘要：0. 说明 已经安装好Hadoop和hive环境，hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联，并且删掉外部表之后，对HDFS上的文件没有影响。 1. 在HDFS创建分区，并存有文件 手工创建或者由程序在HDFS上生成了分区目录，每个分区目录下有相应的文件。本例中根据da
阅读全文
摘要：0. 说明 已经安装好Hadoop 1.2.1。 安装好mysql。 1.解压安装包 先把安装包下载。然后解压： 2.配置环境变量 使刚刚配置的环境变量立即有效 3.配置hive参数 hive的配置文件放在$HIVE_HOME/conf下，里面有4个默认的配置文件模板 可不做任何修改hive也能运行
阅读全文
摘要：0. 说明 执行bash命令的定时任务时候，希望能把正常的日志输出到一个文件里面，同时如果执行的过程发生异常则把异常日志输出到另一个不同的文件中。方便今后异常排查，极大有利于快速定位出错位置。 需要了解“ ”是覆盖文件原来的内容，“ ”是在文件内容最下方追加。 “1 ”或“1 ”是正常标准输出，“2
阅读全文
摘要：注意：原来的数据全部被清空了。产生了一个新的hdfs 1. 删除已有目录 1.1 查看hdfs site.xml 将 dfs.name.dir和dfs.data.dir所指定的目录删除 1.2 查看core site.xml 将Hadoop.tmp.dir所指定的目录删除。 2.删除历史HDFS，重
阅读全文
摘要：0. 说明 系统中首先要安装好jdk环境。 已经配置ssh免密码登录。 设置好防火墙，或者关闭防火墙。 如果集群内机器的环境完全一样，可以在一台机器上配置好，然后把master配置好的软件即hadoop 1.2.1整个文件夹拷贝到其他slave机器的相同位置即可。 1. 环境准备 本次配置使用了两个
阅读全文
摘要：0.说明 Linux下更改yum默认安装的mysql路径datadir。 linux下，MySQL默认的数据文档存储目录为/var/lib/mysql。 假如要把MySQL目录移到/home/data。 1.创建新目录 2.把MySQL服务进程停掉： 3. 把/var/lib/mysql整个目录移到
阅读全文
摘要：0. 说明 先要查看yum源是否有你想要的mysql版本 如果没有则先要更新yum源 更新后即可进行下一步操作。 1. yum安装mysql 2. 设置开机自动启动 3. 启动mysql服务 4. 设置mysql用户和密码 4.1 登录到mysql服务 初次登录，mysql的root用户默认没有密码
阅读全文
摘要：0. 说明 centos6.5处于对安全的考虑，严格控制网络进去。所以在安装mysql或者使用tomcat，需要开放端口3306或8080。 通常的解决办法有两个。一个是直接关闭防火墙(非常不推荐)： 但是这样相当于把系统完全暴露，会带来很大的安全隐患。所以，第二种方案就是修改防火墙策略，如下文介绍
阅读全文
摘要：1. 查看硬盘信息 输入命令查询 查找新添加的硬盘的UUID信息，并且拷贝。 2.编辑系统分区表，加入硬盘自动挂载信息 2.1 打开系统分区表 进入文件编辑模式。 2.2 加入新硬盘自动挂载信息 保存退出。 3. 验证 重启系统，输入以下命令： 如果看到新的硬盘已经挂载，则成功设置。
阅读全文
摘要：0.说明 下载jdk文件包jdk 7u79 linux x64.tar.gz。 1.环境清理（系统自带的OpenJDK） 1.1 查看OpenJDK的安装包 1.2 卸载Openjdk(root权限) 2.解压 记住所在目录。假设在“/home/jdk1.7.79” 3.配置环境变量(root权限)
阅读全文
摘要：centos 修改主机名 0.说明 系统安装后，系统默认的主机名称是localhost,现在想要修改为master。操作需要root权限。 1.方案一：仅当前登录有效，重启后失效 直接在命令行执行命令，一步完成： 2.方案二：修改配置文件，永久有效 2.1修改/etc/sysconfig/netwo
阅读全文