01 2024 档案
摘要:对rdd里面的内容进行去重,返回新rdd 语法:rdd.distinct() 无需传参
阅读全文
摘要:在闭包函数想要修改外部函数变量的值时,需要使用nonlocal关键字
阅读全文
摘要:接收一个处理函数,可用lambda快速编写 函数对rdd数据逐个处理,得到true的保留至rdd里面
阅读全文
摘要:计算逻辑和map一样,只是比map多出解除一层嵌套的功能
阅读全文
摘要:数据容器转rdd对象 通过SparkContext对象的parallelize成员方法,将python数据容器转为rdd对象 from pyspark import SparkConf,SparkContextconf = SparkConf().setMaster("local[*]").setA
阅读全文
摘要:当出现错误信息 “‘pip’ 不是内部或外部命令,也不是可运行的程序或批处理文件” 时,这通常意味着在命令行中输入pip命令时,系统无法找到pip可执行文件的位置。本文将介绍解决这个问题的各种方法。 问题原因当出现错误信息 “‘pip’ 不是内部或外部命令,也不是可运行的程序或批处理文件” 时,这通
阅读全文
摘要:初始化 _ _ init _ _()在实例化后自动调用,以完成实例初始化,我们可以把要先初始化的属性放到这个函数里面。 class Student(): # 初始化方法 def __init__(self, name): self.name = name #对象实例化stu = Student('小
阅读全文
摘要:错误:运行项目出现错误:No Python at ‘D:\Python\python.exe’ 错误原因:由于python版本更新,需要升级,先将原来的python卸载了,然后安装新版本(3.8.0),结果pycharm找不到python编辑器;或者由于Python路径发生了更改。 解决办法:一、关
阅读全文
摘要:如果一个函数要有多个返回值,要怎么书写呢? def test_return(): return 1,2 x,y = test_return() 按照返回值的顺序,写对应顺序的多个变量接收即可 变量之间用逗号隔开 支持不同数据类型的return 匿名函数 匿名函数使用lambda关键字进行定义 定义语
阅读全文
摘要:1.字符串(str)概念:单引号,双引号,三引号包围的字符组 下标索引:即编号,我们可以根据下标找到对于元素 切片:对操作对象截取其中一部分的操作 切片语法:[起始:结束:步长] str(abcd) 空格会算一个小标 len(str1) 查字符串里面的数字字母个数 索引就是abcd数数的1234(正
阅读全文
摘要:函数的概念函数是一段可重复调用的代码块,它接收一些输入(参数),并可以输出一些结果(返回值)。函数的基本语法是def 函数名(参数列表):(tab)函数体其中参数列表是可选的。定义和调用函数在Python中,我们可以使用关键字“def”来定义一个函数,通过函数名和参数列表来唯一标识一个函数。例如,我
阅读全文
摘要:第一章设计没有标准,如果一定要一个标准,那就是快捷,适用,优雅。 通常的说,设计分为计划设计和演进设计。(茅草屋与园林)演进设计,一不小心容易重构;计划设计,一不小心容易过度。合理的设计是需要的,如果摒弃设计模式,无疑是放弃站在巨人肩膀眺望远方的机会,而选择吃力的踮起脚尖,最后失去的是更远处的美景。
阅读全文
摘要:npm ERR! code ERESOLVEnpm ERR! ERESOLVE unable to resolve dependency treenpm ERR!npm ERR! While resolving: vuecli3@0.1.0npm ERR! Found: vue@2.7.5npm E
阅读全文