摘要：
Spark 的 shell 是一个强大的交互式数据分析工具。 1. 搭建Spark 2. 两个目录下面有可执行文件： bin 包含spark-shell 和 spark-submit sbin 包含 sbin/start-master.sh：在机器上启动一个master实例 sbin/start-s 阅读全文
|
摘要：
Spark 的 shell 是一个强大的交互式数据分析工具。 1. 搭建Spark 2. 两个目录下面有可执行文件： bin 包含spark-shell 和 spark-submit sbin 包含 sbin/start-master.sh：在机器上启动一个master实例 sbin/start-s 阅读全文
摘要：
卷积 Convolution 是泛函中一个非常重要的积分变换的方法。 通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分的面积。 卷积就是两个函数之间的相互关系，然后得出一个新的值，它是在连续空间做积分计算，然后在离散空间内求和的过程。在计算机视觉里面，就是 阅读全文
摘要：
33. objgraph objgraph是Python的一个第三方包。安装之前需要安装xdot。 用途 安装 例子 阅读全文
摘要：
用这张图激励一下自己，身边也就只有一位全栈数据工程师！！！ 32. Python的内存管理 1. 对象的内存使用 对于整型和短字符串对象，一般内存中只有一个存储，多次引用。其他的长字符串和其他对象，对象就有相同的多份存储。 查看对象的内存存储，可以用内置函数id().比如： 也可以用 is 关键字 阅读全文
摘要：
本来没打算学Spark 的，不过时机很逗。 最膜拜的大神做spark分享，还是其中最好玩的notebook。这不就是另外一个 HUE吗，但感觉更好玩。 刚好新的Spark 2.x 要问世了，大神在组织战队一起迭代。就此开始跟着大神脚后跟一点点的了解，学习争取入门吧。 https://github.c 阅读全文
摘要：
31 装饰器 装饰器可以对一个函数、方法或者类进行加工，是一种高级的python语法。 装饰函数 装饰函数 def decorator1... # 定义装饰器 @decorator1 # 定义函数前，@装饰器 def function1 ＃ 定义要加工的函数 例子： 顺序： 先执行装饰器里面的语句1 阅读全文
摘要：
6. Sqoop Apache sqoop is an open source tool that allow users to extract data from structured data store into Hadoop or back. 1) run self : $SQOOP_HOM 阅读全文
摘要：
30. 闭包 首先理清几个关系。 函数式编程 面向对象编程 ： 对象 面向过程编程 ： 函数 对象和函数都是一种逻辑方式来组织代码，为了提高可重复利用性（reusability）。 而闭包作用和对象和函数一样。python的闭包是函数对象为基础实现的。 1. 函数对象的作用域 函数是由def定义的， 阅读全文
摘要：
27. 属性的__dict__系统 1）对象的属性可能来自： 其类的定义，叫做类属性 继承父类的定义 该对象实例定义（初始化对象时赋值），叫做对象属性 2）对象的属性存储在对象的 __dict__ 属性中: __dict__ 为字典，键为属性名，值是属性本身。 例子： 3）属性是分层定义的： 比如上 阅读全文
摘要：
文档太给力了！误删了几个重要文件，抖抖嗦嗦偷偷恢复了，救了我！！！ http://jingyan.baidu.com/article/2f9b480d6c2bcd41cb6cc223.html 注意： 1）最后cd到误删目录下操作，否则有可能 logdump时告诉你不存在 2）df -T 可以查看文 阅读全文
|