随笔分类 - 大数据
摘要：一、solr简介 1、什么是solr？ Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 2、solr特
阅读全文
摘要：服务端错误记录： 1、服务端在创建数据库的时候报如下错误： 错误提示：kdb5_util: Improper format of Kerberos configuration file while initializing Kerberos code 原因以及解决办法：这是由于/etc/krb5.c
阅读全文
摘要：简介 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，但是不能将hbase、hive的数
阅读全文
摘要：压缩的好处 文件压缩的好处：减少文件存储锁需要的磁盘空间，加速数据在网络和磁盘上的传输。 常见的压缩格式 压缩格式 工具 算法 文件扩展名 是否可以切分 DELATE 无 DEFLATE .delate 否 Gzip gzip DEFLATE .gz 否 bzip2 bzip2 bzip2 .bz2
阅读全文
摘要：set hive.mapred.mode=strict; //设置hive执行模式，默认为nonstrict(非严格模式),这里设置为严格模式 set hiveconf:hive.cli.print.current.db=true; //显示当前数据库的名称， 默认是false，这里开启 set hive.cli.print.header=true; 查询表数据的...
阅读全文
摘要：<property> <name>dfs.nameservices</name> <value>EDPI</value> </property> <property> <name>dfs.ha.namenodes.EDPI</name> <value>nna,nns</value> </proper
阅读全文
摘要：错误1：org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired 错误2：Reported time is too far out of sync with mast
阅读全文
摘要：错误记录与分析 错误1：java.net.BindException: Port in use: localhost:0 错误2：datanode节点磁盘空间爆满，导致datanode启动不能启动 错误3：java.io.IOException: Premature EOF from inputSt
阅读全文
摘要：前提：HDFS fsck确保hbase根目录下文件没有损坏丢失，如果有，则先进行corrupt block移除。 切记：一定要在所有Region都上线之后再修复，否则修复之后可能出现重复Region。 步骤1. hbase hbck 检查输出所有ERROR信息，每个ERROR都会说明错误信息。 步骤2. hbase hbck -fixTableOrphans 先修复tableinfo缺失问题，...
阅读全文
摘要：HiveQL与传统SQL区别 HiveQL是Hive的查询语言。与mysql的语言最接近，但还是存在于差异性，表现在：Hive不支持行级插入操作、更新操作和删除操作，不支持事物。 基本语法 数据库操作 # hadoop fs -ls /hive/warehouseFound 3 itemsdrwxr
阅读全文
