摘要: GraphX是基于RDD的图处理API,在Python中无法使用。但是在pyspark中可以使用GraphFrames,GraphFrames是基于DataFrame的图处理API,支持Scala、JAVA以及Python语言。下面是GraphFrames的安装及使用方法: 一、GraphFrame 阅读全文
posted @ 2022-09-20 16:55 干了这瓶老干妈 阅读(600) 评论(0) 推荐(0) 编辑
摘要: 一、运行xgboost模型 from sklearn import datasets iris = datasets.load_iris() data = iris.data[:100] print data.shape #(100L, 4L) #一共有100个样本数据, 维度为4维 label = 阅读全文
posted @ 2022-09-16 10:32 干了这瓶老干妈 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 介绍 setuptools是python中的包安装和分发工具。 // 通过源码安装包 python setup.py install setuptools中主要包含如下两个函数: from setuptools import setup, find_packages 一、setup函数 setup函 阅读全文
posted @ 2022-09-15 16:39 干了这瓶老干妈 阅读(848) 评论(0) 推荐(0) 编辑
摘要: args :是 arguments 的缩写,表示位置参数; kwargs: 是 keyword arguments 的缩写,表示关键字参数。 *和**:是python中两种可变参数的形式,且*args 必须放在 **kwargs 的前面,因为位置参数在关键字参数的前面。 一、*args的用法 *ar 阅读全文
posted @ 2022-09-15 15:55 干了这瓶老干妈 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 代码: import itertools aa = ['a', 'b', 'c'] bb = list(itertools.permutations(aa, 2)) print(bb) print("######################") cc = list(itertools.combi 阅读全文
posted @ 2022-09-15 11:20 干了这瓶老干妈 阅读(859) 评论(0) 推荐(0) 编辑
摘要: 1、方式一:通过withColumnRename函数对列一对一重命名 data = sqlContext.createDataFrame([(1,2), (3,4)], ['x1', 'x2']) data = data.withColumnRenamed('x1','x3').withColumn 阅读全文
posted @ 2022-08-25 17:58 干了这瓶老干妈 阅读(2025) 评论(0) 推荐(0) 编辑
摘要: 1.待定系数法 矩阵A=1, 2-1,-3假设所求的逆矩阵为a,bc,d则 从而可以得出方程组a + 2c = 1b + 2d = 0-a - 3c = 0-b - 3d = 1解得a=3; b=2; c= -1; d= -1 2.伴随矩阵求逆矩阵 伴随矩阵是矩阵元素所对应的代数余子式,所构成的矩阵 阅读全文
posted @ 2022-08-02 10:46 干了这瓶老干妈 阅读(941) 评论(0) 推荐(0) 编辑
摘要: 一、前言 对于并行处理,Apache Spark使用共享变量。当驱动程序将任务发送到集群上的执行程序时,共享变量的副本将在集群的每个节点上运行,以便可以将其用于执行任务。 累加器(Accumulators)与广播变量(Broadcast Variables)共同作为Spark提供的两大共享变量,主要 阅读全文
posted @ 2022-06-30 17:09 干了这瓶老干妈 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 1、打开Maven项目,选择File-Project Structure。2、在打开的窗口中左边菜单列表中选择Modules,点击上方的dependencies,然后点击+,在弹出的菜单栏中选择JARs or directories。3、在打开的文件管理器中,选择要导入的jar包即可引入到项目中来。 阅读全文
posted @ 2022-06-28 16:00 干了这瓶老干妈 阅读(5228) 评论(0) 推荐(0) 编辑
摘要: 原文地址:Using Scala code in PySpark applications (diogoalexandrefranco.github.io) 前言 虽然有充分的理由使用Python API开发Spark应用程序,但不可否认的是,Scala是Spark的母语。如果您需要PySpark不 阅读全文
posted @ 2022-06-28 13:33 干了这瓶老干妈 阅读(646) 评论(0) 推荐(1) 编辑
Live2D