摘要： sqoop 执行可以以job形式 也可以执行用命令执行，再用sqoopjob时，踩了几个坑，分享一下 1、服务器重启 由于服务器增加硬盘，需要重启后，发现sqoop job 无法执行，报连接数据库IO之类的错误，但是sqoop命令是可以执行的， 这也就奇怪了，刚开始以为是连接不上hadoop元数据库 阅读全文

摘要： 来自http://blog.sina.com.cn/s/blog_3d2d79aa0100h47h.html awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出（即管道）。它支持用户自定义函数和 动态正则表达式等先进功能， 阅读全文

摘要： 目前虽然有很多工具可以代替awk，但是呢我还是认为awk还是非常重要，比如有时候load数据到hive，mysql发现数据有点问题，这样可以先对比文件和库中数据是否一致，这样awk就发挥用处了，还有从文本中统计一些简单的数据，awk可是信手拈来。在这也简单的介绍下awk的用法。 awk命令格式与选项 阅读全文