07 2017 档案
摘要：综述 HDFS实现了一个类似POSIX模型的文件和文件夹权限管理模型。每一个文件盒文件夹都有一个所有者和一个组。文件或者文件夹可以通过权限区分是所有者还是组成员或是其他用户。对文件来说，r标示可以阅读文件，w标示可以写入文件，对于文件夹来说，r标示可以阅读其下的内容，w可以创建或者删除文件或文件夹，
阅读全文
摘要：概述 HDFS快照是文件系统的只读时间点副本。 可以对文件系统的子树或整个文件系统进行快照。 快照的一些常见用例是数据备份，防止用户错误和灾难恢复。HDFS快照的实现是高效的： 快照创建是即时的：成本是O（1），不包括inode查找时间。 仅当对快照进行修改时才使用附加内存：内存使用为O（M），其中
阅读全文
摘要：参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： create
阅读全文
摘要：一、检查下linux是不是已经安装了MySQL 二、下载需要的安装包，下载地址： 三、开始逐个安装 四、修改配置文件位置并做相关设置 #做如下配置 五、初始化MySQL及设置密码 六、登录到mysql，第一次装没有密码，直接回车 七、设置允许远程登录 八、设置开机自启动 九、MySQL的默认安装位置
阅读全文
摘要：新安装了redhat6.5安装后，登录系统，使用yum update 更新系统。提示： This system is not registered to Red Hat Subscription Management. You can use subscription-manager to regi
阅读全文
摘要：我们可以采用类似安全模式的方法修改初始密码先执行命令 mysqld_safe --skip-grant-tables & （设置成安全模式）&，表示在后台运行，不再后台运行的话，就再打开一个终端咯。# mysqlmysql> use mysql;mysql> update user set auth
阅读全文
摘要：红帽安装rpm安装MySQL时爆出警告： 警告：MySQL-server-5.5.46-1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY 原因：这是由于yum安装了旧版本的GPG keys造成的 解决办法：后面加
阅读全文
摘要：转载自http://blog.csdn.net/ldl22847/article/details/76056501.下载jdk的rpm安装包，这里以jdk-8u141-linux-x64.rpm为例进行说明 下载地址：http://www.oracle.com/technetwork/java/ja
阅读全文
摘要：今天在虚拟机上挂载光盘时提示： [root@primary dev]# mount /dev/cdrom /mnt/cdrom mount: you must specify the filesystem type 处理方法： 虚拟机－〉setting->cd/dvd－〉device status-
阅读全文
摘要：python 中 time 有三种格式： float, struct tuple(time.struct_time 或 datetime.datetime), str 常用的： float --> struct tuple: time.localtime( float ) struct time t
阅读全文
摘要：最近测试hbase，老发现服务挂掉，自己不能及时发现，想了想，写了个脚本，让脚本每个小时执行一次，以便检测是否有服务挂掉，如果有服务挂掉，及时启动 这个代码也可以扩展，把hours=1改成minutes=1就变成了每个小时定时任务，改成days=1就变成每天的定时任务
阅读全文
摘要：一、zookeeper单机版安装 下载zookeeper-3.4.6.tar.gz 解压在/opt目录下 在/home/zookeeper-3.4.6目录下创建以下目录： mkdir data mkdir logs 将/opt/zookeeper-3.4.6/conf/下的zoo.sample.cf
阅读全文
摘要：nose-parameterized是一个针对Python单元测试框架实现参数化的扩展 或者： 运行结果 当相同入参和断言结果的用例越多，这种写法用起来越爽！ 说明：
阅读全文
摘要：#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 生成秘钥 #cd ~/.ssh/ id_dsa id_dsa.pub known_hosts id_dsa 私钥（给自己用） id_dsa.pub（给别人用） 把公钥文件追加到本地的认证文件中去 #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 就可以免密...
阅读全文
摘要：root@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive -d, --define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --d
阅读全文
摘要：在启动hive时设置配置属性信息 $ bin/hive --hiveconf <property=value> 查看当前所有的配置信息 hive > set ; hive (db_hive)> set system:user.name ; system:user.name=root hive (db
阅读全文
摘要：在$HIVE_HOME/conf/hive-site.xml文件下加入以下配置文件 这样在客户端就可以显示所在的数据库了。
阅读全文
摘要：看到没有？ 只有一条记录。内连接就是只取出符合过滤条件的记录 也就是t1.id=t2.id 那么符合t1.id=t2.id的记录只有id=1这一条，所以只显示一条。 不像外连接，是将你作为基准的表（左外连接就是左边表为基准，右外连接就是右边表为基准）的所有行都显示出来。 转载地址：https://z
阅读全文
摘要：1、创建数据库和表 1）创建数据库 2）创建表 或者 加载分区表数据： 4、显示表结构 5、更新表名称： 6、添加新一列： 7、删除表： 删除表中数据，但要保持表的结构定义 8、从本地文件加载数据： 9、显示所有函数、查看所有函数用法 10、查看数组、map结构 11、内连接 查看hive为某个查询
阅读全文
摘要：问题：hive查询表，返回结果都是null hive> create table testTable(id int, name string); hive> load data local inpath '/home/test.txt' into table testTable; 其中“/home/
阅读全文
摘要：在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称
阅读全文
摘要：我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapRedu
阅读全文
摘要：一、环境准备 hadoop-2.7.2 java 1.7.0 apache-hive-1.2.1 mysql Hive配置文件介绍 •hive-site.xml hive的配置文件 •hive-env.sh hive的运行环境文件 •hive-default.xml.template 默认模板 •h
阅读全文
摘要：解决方法： 在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。 在配置文件里面： <property> <name>hive.metastore.local</name> <value>false</value> </property> 删除掉，再次
阅读全文
摘要：启动mysql 报错： ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2) 1、先查看 /etc/rc.d/init.d/mysqld statu
阅读全文
摘要：最近测试hbase shell，碰到个中文显示编码问题，最后通过Python解决了问题，具体操作如下： 把value的值复制到Python命令行，操作如下： ok，这样就可以显示中文了。
阅读全文
摘要：# coding=utf-8 # Author: ruin """ discrible: """ from thrift.transport import TSocket from thrift.protocol import TBinaryProtocol from thrift.transport import TTransport from hbase import Hbase imp...
阅读全文
摘要：本篇是Thrift官网安装文档的翻译，原地址点击这里。Thrift之前是不支持Windows的。但是似乎0.9版本以后已经支持Window了。介绍了Thrift安装的环境要求以及在centos,Debian/Ubuntu,OS X和Windows下的安装过程。并提出了一些安装过程中可能遇到的问题和解
阅读全文
摘要：ShutIt是一个易于使用的基于shell的自动化框架。它对基于python的expect库（pexpect）进行了包装。你可以把它看作是“没有痛点的expect”。它可以通过pip进行安装。 Hello World 让我们从最简单的例子开始吧。创建一个名为example.py的文件： 运行这个文件
阅读全文
摘要：truncate是disable、drop、create三个动作的自动化集成。
阅读全文
摘要：注：两个语句中只有一个 <:> 的不同，另，在 Python3 中运行上述代码时，将 <xrange> 改为 <range>。
阅读全文
