摘要： 今天在做在hue当中，实现oozie的调度然后发送邮件到邮箱的操作报错信息如下： org.apache.oozie.action.ActionExecutorException: EM007: Encountered an error while sending the email message  阅读全文

摘要： 这两天在做数据的导入操作，为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下，在hue当中部署工作流就是一件很麻烦的事情， 然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。 操作脚本如下： 下面说一下这种脚 阅读全文

摘要： 今天在使用kettle连接hive的时候出现了下面的报错 Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver) Illegal Hadoop Version: Unknown (expected A.B 阅读全文

摘要： 今天在安装kettle的时候出现了几个问题，在这里记录一下： kettle的安装： （1）去官网下载http://kettle.pentaho.org 对于kettle来说的话，解压即安装。下载解压zip包就可以。安装kettle需要配置jdk.对于jdk的配置这里不做赘述. 然后在windows环 阅读全文

摘要： 最近在做yarn的资源隔离，就是在yarn的控制界面实现对yarn的资源的划分。这个一般是对资源的动态分配。 这里是相关的权限可以设置核心数等信息。 计划策略这一栏就是使用默认的设置。其他的设置可以先不管。接下来我们在来看我们真个资源调度的执行顺序： 这里设置成功之后，我们在提交代码的时候将代码指定 阅读全文

摘要： 今天在CM安装的CDH的大数据管理平台上集成kafak,遇到的一些坑，记录下来： 我安装的CM是5.14.0.在这个版本当中他没有被纳入到CDH的安装平台，所以他需要安装激活等操作，和我们手动集成spark2的操作是一样的。 （1）第一步下载parcels (2) 然后在我们的集群当中就出现了kaf 阅读全文

摘要： 因为我们是在idea当中对hive的数据通过spark sql的形式进行处理的嘛，所以需要加载hive的表以及hive的数据，但是在加载的时候报错；报错信息如下; 看到这里第一反应就是hive的相关包的没有加载了，于是我将他配置在yarn-site.xml的yarn.application.clas 阅读全文

摘要： 当代码能正常提交到spark集群运行的时候，出现下面的错误: 这个种种的迹象都显示是程序的内存溢出造成的，那为什么会内存溢出那，原因是我们队结果集进行collect操作的时候，整的结果作为一个大的集群全部的聚集到了driver 端也就是我们的idea当中。这个时候我们的客户端如果内存不是够大的情况下 阅读全文

摘要： 最近在做将spark的代码提交到远程当中遇到很多坑，各种各样的错误： 我是在window当中使用idea开发将本地的代码提交到远程的spark集群上，没有用到local的模式去做（在实际的生产当中不会用到local的方式去做，所以没考虑） 我是直接run的方式在idea当中提交代码的，这里采用的st 阅读全文

摘要： 今天在做yarn的版本的权限控制的时候，我再Linux当中创建了用户和用户组。但是那当我去删除的时候就报用户正在登录，删除不了（报错信息如下） userdel: user bigdata is currently logged in （我这里创建的bigdata用户） 然后网上百度了一圈说使用如下的 阅读全文