摘要：
上一篇文章介绍了Streaming的各种参数，本文具体介绍使用方法。 提交hadoop任务示例： $HADOOP_HOME/bin/hadoop streaming \ -input /user/test/input -output /user/test/output \ -mapper “myma 阅读全文
摘要：
经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N "OS error code 1: Operation not permitted""OS error code 2: No such file 阅读全文
摘要：
Streaming简介 Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。 Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序 阅读全文
摘要：
1。大数据量的list，要进行局部元素删除，尽量避免用del随机删除，非常影响性能，如果删除量很大，不如直接新建list，然后用下面的方法释放清空旧list。 2。对于一般性数据量超大的list，快速清空释放内存，可直接用 a = [] 来释放。其中a为list。 3。对于作为函数参数的list，用 阅读全文