随笔分类 -  大数据

挖坑:hive集成kerberos
摘要：集成hive+kerberos前,hadoop已经支持kerberos,所以基础安装略去: https://www.cnblogs.com/garfieldcgf/p/10077331.html 直接用之前hadoop集成生成的keytab文件开始配置: hive的 conf/hive-site.x 阅读全文
posted @ 2019-01-07 14:02 但行好事-莫问前程 阅读(1325) 评论(0) 推荐(0) 编辑
Specified version of key is not available (44)
摘要：先贴个比较搞笑的错误 这个错误字面上意思是说, Specified version of key is not available,指定版本的key不可用,我就奇了怪了我哪里指定key了,找度娘帮忙,找到一个貌似解释还可以的答案:https://stackoverflow.com/questions 阅读全文
posted @ 2019-01-03 16:54 但行好事-莫问前程 阅读(643) 评论(0) 推荐(0) 编辑
Hadoop2.6新增用户隔离
摘要：1.hadoop文件权限介绍 （这部分内容参考成品 https://blog.csdn.net/skywalker_only/article/details/40709447） 之前在论坛看到一个关于HDFS权限的问题，当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知，而是不能准确完整的 阅读全文
posted @ 2018-12-17 14:26 但行好事-莫问前程 阅读(1080) 评论(0) 推荐(0) 编辑
挖坑:handoop2.6 开启kerberos(全流程学习记录)
摘要：目录: 1.涉及插件简介 2.安装步骤 3.日志错误查看 1.kerberos是什么东西 度娘指导: Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为 客户机 / 服务器 应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址的信任，不要求网络上所有 阅读全文
posted @ 2018-12-14 16:29 但行好事-莫问前程 阅读(2135) 评论(0) 推荐(0) 编辑
hadoop无法停止
摘要：停止hadoop集群，运行命令 出现提示： 添加日志重新操作： 没什么报错信息，这不科学，所以观察脚本，发现错误在寻找pid的时候没找到，默认pid存在： 当tmp目录被删除时，此时就无法运行脚本停止进程，所以只能手动一台台停止进程了，如果要避免错误应该是启动脚本中将“HADOOP_PID_DIR” 阅读全文
posted @ 2018-11-13 15:54 但行好事-莫问前程 阅读(1233) 评论(0) 推荐(0) 编辑
hbase基本命令
摘要：下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称 阅读全文
posted @ 2018-01-21 17:12 但行好事-莫问前程 阅读(182) 评论(0) 推荐(0) 编辑
hbase1.4.0安装和使用
摘要：jia下载地址: http://mirrors.shuosc.org/apache/hbase/1.4.0/ 解压 tar -zxvf hbase-1.4.0-bin.tar.gz 修改环境变量 添加内容: 1. 修改hbase-env.sh文件,添加或修改内容: 2.修改hbase-site.xm 阅读全文
posted @ 2017-12-29 17:15 但行好事-莫问前程 阅读(2794) 评论(0) 推荐(0) 编辑
hive2.3.2安装使用
摘要：hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了 安装需要做几件事: 1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql 2.配置java路径和classpath路径 下载地址: http:/ 阅读全文
posted @ 2017-12-29 16:50 但行好事-莫问前程 阅读(7411) 评论(0) 推荐(1) 编辑
hive和hbase区别和联系
摘要：作者：有点文链接：https://www.zhihu.com/question/21677041/answer/185664626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问 阅读全文
posted @ 2017-12-29 14:44 但行好事-莫问前程 阅读(13816) 评论(0) 推荐(1) 编辑
hadoop3.0.0测验
摘要：下载地址: hadoop: http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.0/ 准备工作: 1.master节点与其他节点需要建立免密登录,这个很简单,两句话搞定: 2.安装jdk 3.配置/etc/hosts(如果配置为ip 阅读全文
posted @ 2017-12-29 14:36 但行好事-莫问前程 阅读(9782) 评论(1) 推荐(0) 编辑
NoSql的产生
摘要：主流的关系型数据库:Microsoft SQLServer, IBM DB2, Oracle, MySQL， Microsoft Access， Sybase，IBM Informix 随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而 阅读全文
posted @ 2016-06-12 11:58 但行好事-莫问前程 阅读(280) 评论(0) 推荐(0) 编辑
hadoop运行作业的脚本解析
摘要：可以看到当hadoop脚本运行jar包时,会执行org.apache.hadoop.util.RunJar脚本. 可以看到这个类将加载的jar解压掉,然后添加classpath路径,获取jar包的主函数,并执行主函数. 阅读全文
posted @ 2016-05-25 16:11 但行好事-莫问前程 阅读(1312) 评论(0) 推荐(0) 编辑
HDFS读写程序小测试
摘要：WriteHdfs: ReadHdfs: 先写后读输出: 阅读全文
posted @ 2016-05-12 14:48 但行好事-莫问前程 阅读(474) 评论(0) 推荐(0) 编辑
myeclipse连接hadoop集群编程及问题解决
摘要：原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程hadoop集群(我的master地址为192.168.85.2) 2.本地myeclipse及myecl 阅读全文
posted @ 2016-05-12 14:34 但行好事-莫问前程 阅读(3743) 评论(0) 推荐(0) 编辑
详细版在虚拟机安装和使用hadoop分布式集群
摘要：集群模式: 一台master 192.168.85.2 一台slave 192.168.85.3 jdk jdk1.8.0_74(版本不重要,看喜欢) hadoop版本 2.7.2(版本不重要,2.*都差不多) 本文从安装Ubuntu14.04后开始一步步搭建hadoop集群: 简单说一下虚拟机li 阅读全文
posted @ 2016-05-10 17:34 但行好事-莫问前程 阅读(1038) 评论(0) 推荐(0) 编辑
docker安装hadoop
摘要：docker为hadoop的云化带来了极大便利,安装和应用也会更快更方便.进入正题: 将会看到如下结果: 我们当然选择星最多的.选择第一个: 然后等待下载. 下载完毕之后启动docker镜像: 测试运行: 我下载的时候最新的还是这个2.7版本.后来的小伙伴也不一定是2.7呦.可以进入share目录去 阅读全文
posted @ 2016-05-05 15:19 但行好事-莫问前程 阅读(3595) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示