摘要：
GraphX是基于RDD的图处理API，在Python中无法使用。但是在pyspark中可以使用GraphFrames，GraphFrames是基于DataFrame的图处理API，支持Scala、JAVA以及Python语言。下面是GraphFrames的安装及使用方法： 一、GraphFrame 阅读全文
摘要：
一、运行xgboost模型 from sklearn import datasets iris = datasets.load_iris() data = iris.data[:100] print data.shape #(100L, 4L) #一共有100个样本数据, 维度为4维 label = 阅读全文
摘要：
介绍 setuptools是python中的包安装和分发工具。 // 通过源码安装包 python setup.py install setuptools中主要包含如下两个函数： from setuptools import setup, find_packages 一、setup函数 setup函 阅读全文
摘要：
args ：是 arguments 的缩写，表示位置参数； kwargs： 是 keyword arguments 的缩写，表示关键字参数。 *和**：是python中两种可变参数的形式，且*args 必须放在 **kwargs 的前面，因为位置参数在关键字参数的前面。 一、*args的用法 *ar 阅读全文
摘要：
代码： import itertools aa = ['a', 'b', 'c'] bb = list(itertools.permutations(aa, 2)) print(bb) print("######################") cc = list(itertools.combi 阅读全文
摘要：
1、方式一：通过withColumnRename函数对列一对一重命名 data = sqlContext.createDataFrame([(1,2), (3,4)], ['x1', 'x2']) data = data.withColumnRenamed('x1','x3').withColumn 阅读全文
摘要：
1.待定系数法 矩阵A=1, 2-1,-3假设所求的逆矩阵为a,bc,d则 从而可以得出方程组a + 2c = 1b + 2d = 0-a - 3c = 0-b - 3d = 1解得a=3; b=2; c= -1; d= -1 2.伴随矩阵求逆矩阵 伴随矩阵是矩阵元素所对应的代数余子式，所构成的矩阵 阅读全文
摘要：
一、前言 对于并行处理，Apache Spark使用共享变量。当驱动程序将任务发送到集群上的执行程序时，共享变量的副本将在集群的每个节点上运行，以便可以将其用于执行任务。 累加器（Accumulators）与广播变量（Broadcast Variables）共同作为Spark提供的两大共享变量，主要 阅读全文
摘要：
1、打开Maven项目，选择File-Project Structure。2、在打开的窗口中左边菜单列表中选择Modules，点击上方的dependencies,然后点击+，在弹出的菜单栏中选择JARs or directories。3、在打开的文件管理器中，选择要导入的jar包即可引入到项目中来。 阅读全文
摘要：
原文地址：Using Scala code in PySpark applications (diogoalexandrefranco.github.io) 前言 虽然有充分的理由使用Python API开发Spark应用程序，但不可否认的是，Scala是Spark的母语。如果您需要PySpark不 阅读全文