03 2017 档案
摘要：官方提供了2种方法 1.利用反射来推断包含特定类型对象的RDD的schema。这种方法会简化代码并且在你已经知道schema的时候非常适用。 先创建一个bean类 case class Person(name: String, age: Int) 然后将Rdd转换成DataFrame val peo
阅读全文
摘要：今天把一个列表转换成字符串输出的时候出现了UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128)问题，使用的是ulipad编译器。 解决方法1： 在开
阅读全文
摘要：在python2.x版本中可以直接使用import urllib来进行操作，但是python3.x版本中使用的是import urllib.request来进行操作，下面是简单的例子： python2.x python3.x
阅读全文
摘要：1.python开发集成工具Spyder中，如何设置变量成员提示和代码补全呢？ 答: pip install rope,安装好rope 就可以了 2.最常用的是：tap的制动补全 （IPython console窗口或文本编译器 需要按Tab键触发自动完成） 3.查看类中的变量 view->pane
阅读全文
摘要：Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就
阅读全文
摘要：4种操作符的区别和联系 一、 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。 用法为 x::list,其中x为加入到 头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于list.:
阅读全文
摘要：dycopy :http://blog.csdn.net/dabokele/article/details/52802150 Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Sc
阅读全文
摘要：RDD操作 RDD操作 1.对一个数据为{1，2，3，3}的RDD进行基本的RDD转化操作 map() {1,2,3} 2.对数据分别为{1，2，3}和{3，4，5}的RDD进行针对两个RDD的转化操作 3.对一个数据为{1，2，3，3}的RDD进行基本的RDD行动操作 rdd.aggregate(
阅读全文
摘要：一、前言 前面学习了Scala的Methods，接着学习Scala中的Object 二、Object Object在Scala有两种含义，在Java中，其代表一个类的实例，而在Scala中，其还是一个关键字，本篇首先将会把object当成一个类的实例看待，展示如何将对象从一种类型转化为另一种类型，之
阅读全文
摘要：原文：http://www.cnblogs.com/tonycody/p/3257601.html 【常规】 【调试部分、编译】 【重构】 【查找】 【VCS】 【调试部分、编译】 【重构】 【查找】 【VCS】
阅读全文
