摘要： Sqoop 抽数报错： java.io.FileNotFoundException: File does not exist 一、错误详情 2019-10-17 20:04:49,080 INFO [IPC Server handler 20 on 45158] org.apache.hadoop. 阅读全文

摘要： HUE Oozie : error=2, No such file or directory采坑记录 1.错误详情 一直都是同一种方式在hue上定义workflow,不知为啥 今天定义的就是不行..... 一直报错，不管反复创建文件或者脚本多少遍，也不管重新定义workflow多少遍，报错信息始终如 阅读全文

摘要： HUE备份已定义好的workflow 最近使用HUE定义了一个很复杂的调度，但是调度执行到一半就开始报错.... 这个可真让人头疼呀， 从头开始跑数据吧 太费时间了，而且会容易造成Hive库总数据冗余 在workflow将已经跑完的部分删掉吧 又舍不得，万一下次整个调度又都出错了 又要重新配置 多累 阅读全文

摘要： Hive初步认识，理解Hive（一） 用了有一段时间的Hive了，之前一直以为hive是个数据库，类似Mysql、Oracle等数据库一样，其实不然. Hive是实现Hadoop 的MapReduce的一种方式(Hive是一种MapReduce,优化的时候不能以sql的方式进行优化) Hive表分类 阅读全文

摘要： Beeline里面执行hive脚本函数nvl2()与replace()报错 写脚本的时候是在impala里面执行的，都正常，但是转换为调度的时候是在beeline里面执行的 就会有问题了. 详情如下： replace函数： (去掉字符串里面所有空格) select replace(' hell o 阅读全文

摘要： Navicat定时在MySQL与MySQL数据库之间自动传输数据 来由： 需要将表数据从一个库同步到另一个库（数据分发），之前有尝试过使用Kettle去抽数，但是数据量稍微大一点的时候太慢了... 有可能是本机性能的原因，然后就选择用navicat自带的同步工具。（测试环境需要用navicat（因为 阅读全文

摘要： 解决方案： 将beeline -u 需要执行的脚本信息（eg: insert.hql）的编码格式转换为 UTF-8, 记住是UTF-8!!! 再重新上传文件到HUE上，重跑即正常了！！！ (这里是因为我之前设置过脚本的编码格式为 Encode in UTF-8-BOM ,所以就会出错，数据不准确，可 阅读全文

摘要： 关于大数据T+1执行流程 前提： 搭建好大数据环境（hadoop hive hbase sqoop zookeeper oozie hue） 1.将所有数据库的数据汇总到hive (这里有三种数据源 ORACLE MYSQL SEQSERVER) 全量数据抽取示例： ORACLE（注意表名必须大写！ 阅读全文

摘要： Hive部分函数解析 Hive里的exists ,in ,not exists ,not in 相关函数 表数据准备： 1.选择指定数据库 eg: use bg_database1; 2. 创建表 3.插入表数据 4. 根据原表 demo0919 再创建一张表 demo0919_1，用于比对数据。 阅读全文

摘要： 关于JDK动态代理与Cglib代理 最近有时间学习一下SpringAOP源码，底层用到了代理，大概是这样的： 当需要被代理的类实现了接口，则使用JDK动态代理创建代理对象，增加增强操作执行目标方法 当需要被代理的类未实现接口，则使用Cglib代理创建目标类的子类，增加增强操作执行目标方法 由此可见J 阅读全文