11 2018 档案

大数据自学6-Hue集成环境操作Hbase
摘要:上一章讲过,Hue集成环境是可以直接操作Hbase,但是公司的环境一直报错,虽然也可以透过写代码访问Hbase,但是看到Hue环境中无法访问,还是觉得不爽,因此决定再花些力气找找原因。 找原因要先查Log,百度里查Hue Log,发现以管理员身份登入Hue,点击About是可以看到Log的,同时还有 阅读全文

posted @ 2018-11-28 15:12 大海胸懷 阅读(1051) 评论(0) 推荐(0)

大数据自学5-Python操作Hbase
摘要:在Hue环境中本身是可以直接操作Hbase数据库的,但是公司的环境不知道什么原因一直提示"Api Error:timed out",进度条一直在跑,却显示不出表。 但是在CDH后台管理里,Hbase相关服务都是显示正常运行的,因此就绕过Hue查看Hbase,直接使用Python写代码连Hbase数据 阅读全文

posted @ 2018-11-28 10:46 大海胸懷 阅读(1035) 评论(0) 推荐(0)

大数据自学4-Hue集成环境中各模组说明
摘要:前面已经学习了如何将数据从关系型数据库导入到Hive/HDFS,并且在Windows客户端查询导入的数据,接下来继续学习CDH,知识点: 1、Hue环境中DB Query如何使用,DB Query这个功能是在Hue这个Web界面可以直接查询其他关系型数据库的数据,Hue在默认装完后是无法直接使用DB 阅读全文

posted @ 2018-11-27 10:11 大海胸懷 阅读(448) 评论(0) 推荐(0)

大数据自学3-Windows客户端DbVisualizer/SQuirreL配置连接hive
摘要:前面已经学习了将数据从Sql Server导入到Hive DB,并在Hue的Web界面可以查询,接下来是配置客户端工具直接连Hive数据库,常用的有DbVisualizer、SQuirreL SQL Client、DataGrip,只试用了前面两种,花了1天多时间最终实现了用这两款工具连Hive,还 阅读全文

posted @ 2018-11-26 16:04 大海胸懷 阅读(1160) 评论(0) 推荐(0)

大数据自学2-Hue集成环境中使用Sqoop组件从Sql Server导数据到Hive/HDFS
摘要:安装完CDH后,发现里面的东东实在是太多了,对于一个初学大数据的来说就犹如刘姥姥进了大观园,很新奇,这些东东每个单拿出来都够喝一壶的。 接来来就是一步一步地学习了,先大致学习了每个模组大致做什么用的,然后再按模组一个一个细致学习,并实际演练。 我给自已的第一个课题是如何将Sql Server的一个表 阅读全文

posted @ 2018-11-22 16:06 大海胸懷 阅读(1337) 评论(0) 推荐(0)

大数据自学1-CentOS 下安装CDH及Cloudera Manager
摘要:前面花了一段时间将Ubuntu,Hadoop装完,装到Hbase时,发现Hbase 与Hadoop是有兼容性问题的,Hbase 2.1版是不支持Hadoop 3.11版的,怪不得装起来那么多问题了。 Hbase 与Hadoop的兼容性详见Hbase官网 HBase装不起来,就想着装CDH,发现又是兼 阅读全文

posted @ 2018-11-09 08:57 大海胸懷 阅读(322) 评论(0) 推荐(0)

ubuntu 18.04下安装配置HBase问题记录
摘要:参考资料: Ubuntu下HBase安装与使用(shell+Java API) 问题 无法正常启动hbase,在Log里报错java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder解决办法参照链接 cp $HBASE_HOM 阅读全文

posted @ 2018-11-07 14:12 大海胸懷 阅读(639) 评论(0) 推荐(0)

ubuntu 18.04下安装配置Hue问题记录
摘要:前段时间将Hadoop 在ubuntu环境下装好,接下来尝试安装Hue来管理Hadoop,参照的资料有: 1、高可用Hadoop平台-Hue In Hadoop 2、ubuntu16.04 安装单机Hadoop&HIVE&HUE 3、安装Hue后的一些功能的问题解决干货总结 现将过程中的一些问题记录 阅读全文

posted @ 2018-11-07 10:37 大海胸懷 阅读(949) 评论(0) 推荐(0)

大数据学习相关知识点
摘要:Anaconda:一个开源的Python发行版本 Spyder:Python(x,y)的作者为它开发的一个简单的集成开发环境 MATLAB:美国MathWorks公司出品的商业数学软件,用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境,主要包括MATLAB和Simulin 阅读全文

posted @ 2018-11-02 09:34 大海胸懷 阅读(226) 评论(0) 推荐(0)

SSMS登记密码清除
摘要:如图,此界面的登录密码如果要清除,可以找到%AppData%\Microsoft\Microsoft SQL Server\100\Tools\Shell\SqlStudio.bin,将SqlStudio.bin删除即可。 %AppData% 是环境变量(与用户配置有关),在命令行中运行 ECHO  阅读全文

posted @ 2018-11-01 10:42 大海胸懷 阅读(396) 评论(0) 推荐(0)