gxg123

摘要： 关于mybatis通过和数据库连接生成的map.xml不能满足我们的查询条件的时候，我们要做的就是自定义一个查询的功能。 （1）需要在生成的xml文件当中添加我们想要join的两张表的字段信息。 （2）然后在xml文件当中实现自定义的sql（代码如下） ruleName = "%"+ruleName 阅读全文

摘要： 问题描述： 最近在做web的东西，想要从数据库中生成实体类，然后操作数据库，然后做一些增删改查的工作， 发现可以直接使用mybatis直接生成javabean，还有可以直接生成mapper的映射文件。具体操作如下： 新建一个maven工程： （1）在pom文件中加入需要依赖的jar包（如下3个依赖） 阅读全文

摘要： 问题描述：我们知道在spark当中是对RDD进行操作的。所以我们想把数据源当中的数据转化成很多的数据集，这也就是partition的由来。 而我们在将数据转换成RDD之后。我们可以通过设置partition的数量来让计算的效率更高。 首先来看一下官网创建的RDD的描述： 从这段描述当中我们可以看到。 阅读全文

摘要： reducebykey：它的特点是当使用它的时候，这个时候在不同的partition 中的数据会进行简单的combiner。然后再在reduce端进行数据的累加。 groupbykey：当采用它的时候。这个时候他不是对不同的partition中的数据进行combiner。而是直接在最后进行数据的累加 阅读全文

摘要： 对于scala 的理解。首先从代码方面来理解，首先看下面的代码： scala: shanghai is a good placemale 然后通过反编译工具对这段代码进行反编译生成的java代码如下： import scala.Predef.;import scala.reflect.ScalaSi 阅读全文

摘要： 在定时调度任务当中，当一个任务执行完成之后，设置一个邮件提示： 问题描述：我在azkaban的web的properties文件当中配置了相关的配置项，但是一直报下 面错误： ERROR [Emailer] [Azkaban] Email message send failedjavax.mail.A 阅读全文

摘要： trait: 字面意思是特质或者特征，这个词翻译成特征比较合适。它的意义和java，c#中接口很类似。但是trait支持部分实现，也就是说可以在scala的trait中可以实现部分方法。 在scala中也是一般只能继承一个父类，可以使用with进行多重继承； class： Scala类和java类中 阅读全文

摘要： 问题描述：通过oozie 提交任务，一直报权限连接异常。 我配置了两台oozie server做分布式的oozie文件提交。但是当我提交任务的时候。当一台server 挂掉时出现了下面的错误。 Exception while executing check(). Error Code [JA002] 阅读全文

摘要： 问题描述： 之前我们使用root用户登录mysql。一直是好的。后来登录的时候一直报权限问题： 看到这个的时候第一反应应该是权限有问题，要修改用户的密码； （1）第一步是跳过密码的认证过程；首先进入 #vim /etc/my.cnf(注：windows下修改的是my.ini) 在[mysqld]后面 阅读全文

摘要： Azkaban： Azkaban的工作流的创建特别方便，直接通过web界面创建工程，然后提交任务。（创建job的的文件必须是以.job的文件，并且上传的文件是以zip压缩包的形式进行上传）。 创建工作流的基本流程： （1）创建工程，提交任务。 （2）任务提交完成之后bar.job和foo.job之间 阅读全文