业余砖家

摘要： 在查询hdfs时或者执行程序向hdfs写入数据时遇到报错：Operation category READ is not supported in state standby 意思是：该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls 阅读全文

摘要： 1、启动命令 #！/bin/bash nohup hive --service metastore >> $HIVE_HOME/logs/metasotre.log 2>&1 & nohup hive --service hiveserver2 >> $HIVE_HOME/logs/hiveserv 阅读全文

摘要： 一、或(or)操作1、使用选项 -Egrep -E 'a1|a2’filename // 找出文件（filename）中包含a1或者包含a2的行 2、使用egrepegrep ‘a1|a2’ filename // 用egrep同样可以实现 3、使用选项 -e使用grep -e 选项，只能传递一个参 阅读全文

摘要： （一）将输出与错误写到同一个文件(1)方法1 #!bin/bashjava -jar hbase-example.jar 2>&1 | tee hbase_log.txt 说明：0，1，2：在linux分别表示标准输入、标准输出和标准错误信息输出。tee默认为写入覆盖，-a参数表示追加内容。 #!b 阅读全文

摘要： 最近在做Hbase的查询性能验证，需要统计查询的执行时长，所以需要统计开始时间和结束时间的时间差。 下面是使用SimpleDateFormat和Date计算时间差（相差毫秒数）的程序示例，仅供参考。 package com.sgcc; import java.text.ParseException; 阅读全文

摘要： 1、问题描述 执行hbase shell命令时提示： ERROR: KeeperErrorCode = NoNode for /hbase/master 2、问题原因 这是与因为服务器重启后Hadoop的运行和Hbase的运行异常。 3、解决办法 依次去停止和启动Hadoop （1）到hadoop的 阅读全文

摘要： 1、问题描述 HBase启动时异常如下： java.lang.IllegalArgumentException: object is not an instance of declaring class at sun.reflect.NativeMethodAccessorImpl.invoke0( 阅读全文

摘要： 方法一 Ctrl+G 快捷键Ctrl+G，点击【定位条件】，选择“行内容差异单元格”，点击【确定】。 方法二 条件格式 逆向思维，先利用条件格式查找出相同的数据，筛选剔除相同的数据，剩下的则为不同的数据。 （1）选中比较的两列——>开始——>条件格式——>重复值——>筛选——>颜色筛选——>空（无填 阅读全文

摘要： 一、分区简介 表分区是解决一些因单表过大引用的性能问题的方式，比如某张表过大就会造成查询变慢，可能分区是一种解决方案。一般建议当单表大小超过内存就可以考虑表分区了。 表的分区就是将一个逻辑上的大表(主要指数据量大)，切分为多个小的物理的分片。 1．分区的优点 1) 在某些情况下，尤其是当表中大多数被 阅读全文

摘要： 1．背景原因 当前MySQL不支持在添加和删除分区时，使用IF NOT EXISTS和IF EXISTS。所以在执行调度任务时，直接通过ADD PARTITION和DROP PARTITION不可避免会报错。本文通过创建存储过程来添加和删除分区，可以避免在分区存在时添加分区报错，或者分区不存在时删除 阅读全文