摘要：
http://www.runoob.com/linux/linux-comm-awk.htmlawk 去除重复行http://edyfox.codecarver.org/html/bash_unique_lines_no_sorting.htmlhttp://www.cnblogs.com/ggju... 阅读全文
2015年12月2日
摘要：
http://songpengfei.iteye.com/blog/1440158https://docs.python.org/2/library/argparse.htmlhttp://stackoverflow.com/questions/15753701/argparse-option-fo... 阅读全文
2015年12月1日
摘要：
1 指令式编程&函数式编程 指令式:imperative 风格编程。指令式风格,是你常常使用像 Java,C++和 C 这些语言里用的风格,一次性发出一个指令式的命令,用循环去枚举,并经常改变共享在不同函数之间的状态。 函数式:functional 风格编程。 举例 args.foreach(arg 阅读全文
2015年11月27日
摘要：
1 error bar#!/usr/bin/env python# a bar plot with errorbarsimport numpy as npimport matplotlib.pyplot as pltN = 5menMeans = (20, 35, 30, 35, 27)menStd... 阅读全文
2015年11月26日
摘要：
当maven装好之后出现$ mvn -versionError: JAVA_HOME is not defined correctly. We cannot execute /usr/libexec/java_home/bin/java解决：$ vim .bash_profile export J... 阅读全文
摘要：
https://www.zybuluo.com/jewes/note/35032RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在... 阅读全文
摘要：
map，flatMap，zip和reduce函数可以让我们更容易处理列表函数。 1 map函数map将一个函数应用于列表的每一个元素并且将其作为一个新的列表返回。我们可以这样对列表的元素进行平方： 2 flatMap函数flatMap应用于每个序列元素会返回包含原始列表所有序列内的元素的列表。通过以 阅读全文
摘要：
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭... 阅读全文
2015年11月24日
摘要：
1.创建并以 TextEdit 的方式打开 ~/.bash_profile 文件，如果没有则touch ~/.bash_profile;然后打开vim ~/.bash_profile2.新增环境变量export PATH="$HOME/.rbenv/bin:$PATH"3.让以上所做的配置生效sou... 阅读全文
2015年11月23日
摘要：
1 安装Spark首先，到https://spark.apache.org/downloads.html选择最新的 Spark 版本和 Hadoop 版本（实际上我们暂时用不上 Hadoop，所以任何版本都行），然后下载压缩包。完毕后，将其中的文件夹解压到某个特定的位置，比如，我将解压出的文件夹命名... 阅读全文
