gxg123

摘要： 今天在使用hue做工作流，执行shell脚本的时候出现出现下面这个问题 Stdoutput Warning: /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/bin/..b/sqoop/../accumulo does not exist! Ac 阅读全文

摘要： 最近在做将将hive当中的数据导出到mysql的关系型数据库当中，然后在mysql的关系型数据库当中建了主键，然后将数据导出到数据就报错，最后查看在hive导出数据到关系型数据库的过程当中如果有重复的字段值就会出现下面的问题： 阅读全文

摘要： 最近在做数据迁移的工作，使用到sqoop的导入和导出工具，具体操作是将hive当中的数据查询出来插入到新的表当中，然后将数据又导入到mysql的关系型数据库当中。 我将数据插入到hive将的一个新的表当中，但是那插入到一半的时候数据就插入不进去了，一直纳闷怎么可能插入一半就插不进去了那，说来也奇怪。 阅读全文

摘要： 最近刚搭建的Hadoop集群（CM），发现在通过sqoop导入数据使整个集群当中的磁盘都快占满了。这个时候考虑到需要对集群当中数据的副本数进行修改（由原来的3个副本修改为现在的1个副本） 然后我们在对之前到如到HDFS上面的文件进行重新设置副本数。命令如下： 然后我们使用CM对集群当中的资源进行平衡 阅读全文

摘要： 今天拿到公司的一台服务器就是ping不通百度（外网）。网上找了各种办法最后修改了如下文件的参数，问题解决： 将他修改为电信的外网即可。 阅读全文

摘要： 今天在做sqoop的导入和导出的操作。在导出数据到mysql数据库的时候一直有问题，在导入空字段的时候就出现下面这个错误。 WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException at java.lang.Object 阅读全文

摘要： 今天在使用sqoop 导入oracle数据库当中的数据，但是驱动一直加载不好。具体的错误如下： 看到这个错误的第一反应肯定是这个在加载的oracle驱动的时候，这个包有问题。然后就找各种oracle的驱动包。最后找到一个oracle6的包将其放在sqoop的安装目录下面的lib目录下面。 然后给其赋 阅读全文

摘要： 安装cdh5到最后报如下错误： 安装失败，无法接受agent发出的检测信号。 确保主机名称正确 确保端口7182可在cloudera manager server上访问（检查防火墙规则） 确保正在添加的主机的端口9000和9001空闲 检查在添加的主机上/var/log/cloudera-scm-a 阅读全文

摘要： 在安装CDH5.14.0的时候，在检查主机的时候，出现了Inspector did not run sucessfully。然后不知道怎么解决，但是CM有很好的错误提示功能。下面是检查的结果： 下面会列出，你安装的机器上的相关服务。自己对比一下看哪些地方是有差异的。 出现这个问题一般都是因为在文件同 阅读全文

摘要： 最近通过CM的形式安装大数据组件，然后出现了各种问题。 看到上面的截图，第一感觉是不是哪里没有设置好，或者是什么情况，然后查看打印出来的日志。日志的截图如下： 这个感觉就是日志目录创建不了，肯定是哪里权限不足导致的，但是当创建好之后，赋予权限的时候还是不可以，然后重新装了好多次，还是一直报这个错。最 阅读全文