浪淘沙

摘要： 今天奇怪的发现这个下面不好使了，即用ImageIO把图片写入网络流中，第一次还好使，对于同一个SocketOutputStream，第二次使用write方法就不好使了，变成了死等。网上搜了资料搜不到。ImageIO.write(image, "jpg", out); 阅读全文

摘要： Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。 Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成.. 阅读全文

摘要： hive 加载HDFS的数据时出现错误，FATAL：SemanticException[Error10028]search了一下，跟他一样Hive load from hdfs 出错。我按照他说的做了发现不好用。后来改了把inpath的hdfs路径改为internal ip就好了。我们在亚马逊的ec2上跑的hadoop 阅读全文