随笔分类 - 寒假学习
摘要：性能调优和集群管理是 Apache Spark 应用程序开发中非常重要的两个方面，它们可以帮助提高应用程序的执行效率和稳定性。以下是关于性能调优和集群管理的介绍： 性能调优 数据倾斜处理： 数据倾斜是指在分布式计算过程中某些任务处理的数据量远大于其他任务的情况。可以通过重新分区、使用合适的聚合策略等
阅读全文
摘要：在主体都学习完后，我又学习的一些其他知识，如Spark MLlib。 Spark MLlib 是 Apache Spark 中的机器学习库，提供了一套丰富的机器学习算法和工具，旨在帮助开发人员轻松构建和部署大规模的机器学习应用程序。 通用机器学习算法： Spark MLlib 提供了一系列通用的机器
阅读全文
摘要：Spark Streaming 是 Spark 提供的流式数据处理模块，能够处理实时数据流。Spark Streaming 将实时数据流按照一定的时间间隔切分成批次数据，然后再将每个批次的数据作为 RDD 进行处理。Spark Streaming 支持多种数据源，例如 Kafka、Flume、HDF
阅读全文
摘要：学习spark就绕不开spark sql,今天我就学习了spark的数据库操作： 创建 SparkSession： 在 Spark 中使用 Spark SQL 时，首先需要创建一个 SparkSession 对象，它是 Spark SQL 的入口点。可以通过 SparkSession.builder
阅读全文
摘要：昨天我已经安装好spark，今天进入学习阶段，首先学习spark的一些基础编程： Spark 应用程序： Spark 应用程序由一个驱动器程序（Driver Program）和多个执行器（Executors）组成。驱动器程序负责在集群上运行主程序并创建 Spark 上下文，而执行器负责在工作节点上执
阅读全文
摘要：今天我开始学习spark基础知识，首先从他的基本概念和理论开始入手： RDD（Resilient Distributed Dataset）： RDD 是 Spark 提供的一个抽象数据类型，代表一个可以分布式计算的数据集合。它是 Spark 中最基本的数据结构，具有以下特点： 分区（Partitio
阅读全文
摘要：今天完善小程序代码，今天写剩下的修改密码和个人信息功能。修改密码没什么特殊，用户输入原密码，新密码和二次确认，我们把忘记密码放在了登录界面，防止其他人员在小程序内部修改密码。个人信息部分包含了用户头像、昵称、性别、手机号和地址等信息，用户可以自行编辑手机号和地址，并保存到本地缓存中。用户信息的获取通
阅读全文
摘要：今天继续python的学习，今天的主要内容是连接数据库操作，我学习了3种常见的数据库的连接方式并一一实验，现将模板整理出来。 当使用Python进行数据库访问时，通常会使用数据库接口模块（Database Interface Module）来连接和操作数据库。Python标准库中包含了一些用于不同类
阅读全文
摘要：今天继续面向对象编程的进程，因为这是学会利用python的基础，所以多学一些。 构造函数和析构函数 构造函数（Constructor）是在创建一个类的实例时自动调用的方法。在Python中，构造函数的名称固定为__init__，它用于初始化对象的属性。 例如，下面的代码定义了一个具有两个属性的类，并
阅读全文
摘要：今天继续python的学习，这几周把基本的知识点大体看完了，现在开始学习一些实际的，今天主要是面向对象编程。 类和对象 在Python中，通过定义类（class）来实现面向对象编程。一个类定义了一类对象的属性和方法，而一个具体的对象则是该类的一个实例。 定义一个类时，需要使用关键字class，然后在
阅读全文
摘要：我们的团队项目是前后端同时进行，然后再进行精修。我现在只剩下小程序个人中心部分了，这几天先等其他部分的后端完成，再一同推进进度，所以今天继续python学习。今天的内容是异常处理。 异常处理是一种在程序遇到错误或异常情况时进行捕获、处理和恢复的机制。在Python中，你可以使用try...excep
阅读全文
摘要：今天我继续学习python知识。今天主要学习的是文件操作，这个知识我从学习C语言开始就一直不熟悉，不仅因为它在教学的最后一章，知识讲的较少，更引文平时学习中基本用不到文件操作，所以这部分我用了很长时间。 打开和关闭文件： open() 函数：用于打开一个文件，并返回一个文件对象。有两个参数：文件路径
阅读全文
摘要：今天我继续做团队项目微信小程序端，把地图导航功能做全交给队友精修后，我开始做任务列表部分，我们计划上方是轮播图组件，将图片转化为base64编码存储在数据库中，然后再反编译复原，这部分由于之前的其他课程做过图片动漫画以及图片清晰度增强的实验，所以图片转化部分还是得心应手，之后下方是以列表的形式依次展
阅读全文
摘要：今天我计划学习一些基本函数的功能及它们的使用方法，由于网上大多没有汇总，碰巧又赶上最近学的数据处理，所以我根据需要自己整理了几个可能会用到的关于数据的函数。 Python内置函数： len()：用于获取对象的长度或元素个数。 string = "hello" length = len(string)
阅读全文
摘要：接下来要做的是任务模块，我们计划页面上面一块为轮播图组成的轮播广告，下面为任务条目，不过今天先继续学习python知识，以免跟不上spark的学习。今天主要学到为函数和模块。 函数： 在Python中，函数是一段可重复使用的代码块，可以接受参数并返回结果。函数的定义以def关键字开始，后面跟着函数名
阅读全文
摘要：今天我计划完成导航部分。我又重新找到一个视频，在其中提到了导航功能，因为是校园导航，所以我通过经纬度查询在学校周围几个热门地点做了标点，通过系统定位作为起始点，将标点作为终点，将两者的经纬度一同传入其他地图（目前只自动支持腾讯地图和高德地图，其他是否支持未知），就能通过其他导航实现导航功能。关于标点
阅读全文
摘要：今天开始微信小程序的开发，首先我把地图导航定在第一位，我先从网上找了几个地图先试试，发现单纯调用地图还是很简单的，只需使用map标签，但如何实现导航很困难，由于是微信小程序，使用高德或百度的api很麻烦，于是我决定使用腾讯路线规划来做内置导航，但结果是个人申请的小程序不允许申请腾讯路线规划，我又从高
阅读全文
摘要：今天我们想到另一个办法，不做app，转而去做微信小程序，有一款软件名叫微信开发者工具，用它可以开发微信小程序前端并自动上传到微信，只需用idea开发后端，再将后端上传到服务器即可。但今天我并没有找到有关微信小程序的开发教程，所以今天继续python学习，今天的主要内容是循环： 循环是一种常见的编程结
阅读全文
摘要：今天的python进度到第三部分，我给前面的基础知识做了总结，同时开始学习关键的条件语句。 条件语句是一种常见的编程结构，用于让程序根据不同的情况执行不同的代码。在Python中，条件语句使用if、elif和else关键字来实现。 if语句：if语句用于检查某个条件是否为真，并在满足条件时执行相应的
阅读全文
摘要：今天我仍没有进行app开发，也没有下一步的xian我继续学习python,今天主要学的是语法和简单语句。 语法：编程语言的语法规定了编写代码时应遵循的规则。这些规则定义了如何组织代码、如何使用关键字、标识符和操作符等。对于Python语言来说，一些常见的语法规则包括： 代码块使用缩进（通常是4个空格
阅读全文
