代码改变世界

hadoop in hue的搭建(基于cdh版本)

2018-04-14 09:42 by Justinyangbigdata, 1494 阅读, 0 推荐, 收藏, 编辑
摘要:首先官网下载tar包 http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz 添加mvn源 安装依赖(mysql和mysql-devel已经在安装hive的时候有了 所以不必安装) 切换到hadoop用户并上传并解压tar包 阅读全文

hue集成hbase出现TSocket read 0 bytes

2018-04-14 09:37 by Justinyangbigdata, 4781 阅读, 0 推荐, 收藏, 编辑
摘要:解决办法:修改hbase的配置文件 添加以下配置 https://stackoverflow.com/questions/20415493/api-error-tsocket-read-0-bytes-when-using-hue-with-hbase Add this to your hbase 阅读全文

hue集成hive访问报database is locked

2018-04-06 19:05 by Justinyangbigdata, 3474 阅读, 0 推荐, 收藏, 编辑
摘要:这个问题这应该是hue默认的SQLite数据库出现错误,你可以使用mysql postgresql等来替换 hue默认使用sqlite作为元数据库,不推荐在生产环境中使用。会经常出现database is lock的问题。 首先 配置hui.ini文件中的database选项,我们在创建hive用户 阅读全文

使用hue查看hdfs系统报无法访问:/user/hadoop。 Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".

2018-04-06 16:14 by Justinyangbigdata, 4954 阅读, 0 推荐, 收藏, 编辑
摘要:出现这个问题,是因为默认的超级用户是hdfs ,我的是hadoop用户登录的, 也就是说首次登录hadoop这个用户是我的超级用户 此时只需要将hue.ini配置改为 然后重启即可. 阅读全文

hue上配置HA的hdfs文件(注意,HA集群必须这样来配置才能访问hdfs文件系统)

2018-04-06 16:12 by Justinyangbigdata, 2634 阅读, 0 推荐, 收藏, 编辑
摘要:按照正常方式配置,发现无论如何也访问不了hdfs文件系统,因为我们是HA的集群,所以不能按照如下配置 将其改为 除此之外,还需要配置hdfs文件的 接着要去hadoop的目录下启动httpfs.sh 会看到一个守护进程,同时启动dfs.sh 接着启动hue才能访问 阅读全文

linux如何安装django

2018-04-06 14:38 by Justinyangbigdata, 450 阅读, 0 推荐, 收藏, 编辑
摘要:首先在命令行下输入python 进入界面后先importdjango 如果这一步有错,说明没有django 需要我们安装 源码安装方法: 下载源码包 https://www.djangoproject.com/download/ 输入以下命令并安装 注意 我是在hadoop用户下解压的,而且要去查看 阅读全文

Flume报 Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight

2018-03-30 11:50 by Justinyangbigdata, 2326 阅读, 0 推荐, 收藏, 编辑
摘要:报这个错误 需要一个是flume堆内存不够.还有一个就是把channel的容器调大 在channel加配置 如果每分钟开头量比较大,keep-alive需要调大 阅读全文

window下用notepad++编辑了脚本文件然后放在linux报错显示无法运行

2018-03-29 23:54 by Justinyangbigdata, 943 阅读, 0 推荐, 收藏, 编辑
摘要:首先vi :set ff 查看文件类型 接着 下载dos2unix root用户下yum -y install dos2unix 然后 dos2unix 文件.sh 转换格式 接着在正常启动即可 阅读全文

如何使用mysqldump备份数据库

2018-03-22 17:55 by Justinyangbigdata, 845 阅读, 0 推荐, 收藏, 编辑
摘要:首先查看mysql命令是否存在 如果不存在可以用find /name mysql -print来查找 然后用ln链接命令链接到/usr/bin下面 (系统自动会找/usr/bin下面的文件) 然后登陆mysql数据库进行备份 ,在备份前,需要对所有的表设置为已读 接着 -A代表导出全数据库 -B代表 阅读全文