01 2024 档案
摘要：url = "https://aod.cos.tx.xmcdn.com/group28/M07/DE/F4/wKgJXFk8TBnQZJbDAGkx6deAu2c402-aacv2-48K.m4a" import requests response = requests.get(url) conte
阅读全文
摘要：今天尝试使用hutool对自己的oss进行下载。 <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.8.11</version> </dependency> package
阅读全文
摘要：from pyspark import SparkConf, SparkContext # 创建Spark配置和上下文对象 conf = SparkConf().setAppName("SparkActionsAndPartitions") sc = SparkContext(conf=conf)
阅读全文
摘要：根据文章： 暑假生活每周总结10 from pyspark import SparkContext # 创建SparkContext对象 sc = SparkContext("local", "RDD Transformations Example") # 假设我们有一个RDD数据源 data =
阅读全文
摘要：# !/usr/bin/env python # -*- coding: utf-8 -*- # '''''' USER_AGENT_LIST = [ 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Hot Lingo
阅读全文
摘要：from pyspark.sql import SparkSession from pyspark.ml.recommendation import ALS # 创建SparkSession spark = SparkSession.builder.appName('RecommendationSy
阅读全文
摘要：Selenium 是一个强大的自动化测试工具，用于模拟真实用户在Web浏览器中的交互行为。它可以跨多种浏览器和平台运行，并且支持多种编程语言，包括Python、Java、C# 和 Ruby 等。以下是一个基本的Selenium使用教程概述： 1. 准备工作 安装浏览器：首先确保安装了要进行自动化操作
阅读全文
摘要：package src.main.selenium; import org.openqa.selenium.By; import org.openqa.selenium.JavascriptExecutor; import org.openqa.selenium.WebDriver; import
阅读全文
摘要：from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdr
阅读全文
摘要：<template> <div class="carbon-quota-page"> <!-- 页面标题 --> <h1>碳额度查询</h1> <!-- 查询表单区域 --> <el-form v-if="!loading" :model="form" ref="queryForm" label-w
阅读全文
摘要：import requests url = 'http://www.baidu.com' response = requests.get(url=url) # 一个类型和六个属性 # Response类型 print(type(response)) # 设置响应的编码格式 response.enco
阅读全文
摘要：# 相关模块导入 from selenium import webdriver # selenium 4版本必须要设置浏览器选项，否则会闪退 option = webdriver.EdgeOptions() option.add_experimental_option("detach", True)
阅读全文
摘要：XPATH语法： 1.路径查询 //：查找所有子孙节点，不考虑层级关系 / ：找直接子节点 2.谓词查询 //div[@id] //div[@id="maincontent"] 3.属性查询 //@class 4.模糊查询 //div[contains(@id, "he")] //div[start
阅读全文
摘要：import { ColorPicker } from 'element-ui'; <template> <el-main> <h1>碳报告区块链页面</h1> <el-table :data="tableData" border style="width: 100%"> <el-table-col
阅读全文
摘要：import urllib.request url = 'https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1629789477003_137&jsoncallback=jsonp138&action=cityAction&n_
阅读全文
摘要：import json import jsonpath obj = json.load(open('073__爬虫_解析_jsonpath.json','r',encoding='utf-8')) # 书店所有书的作者 # author_list = jsonpath.jsonpath(obj,'$
阅读全文
摘要：# (1) 请求对象的定制 # （2）获取网页的源码 # （3）下载 # 需求 下载的前十页的图片 # https://sc.chinaz.com/tupian/qinglvtupian.html 1 # https://sc.chinaz.com/tupian/qinglvtupian_page.
阅读全文
摘要：今天写了一点题目： ### 企业用户界面1. **注册与登录页面**：提供账户注册、登录及密码找回等功能。2. **企业信息管理页面**：展示和编辑企业基本信息，关联碳排放核算的相关数据。 <template> <div class="carbon-emissions-calculator"> <!
阅读全文
摘要：【问题说明】 建立全国碳市场一体化管理平台是一个复杂过程，在当前全国碳市场中多数企业虽然能获知自身的数据，但是缺乏对碳核算相关知识，无法自行计算碳排放，需要委托第三方机构开具碳排放报告，其质量良莠不齐，且核算结果不准确，容易出现恶意造假。此外我国碳交易市场存在标准不统一，透明度较差等问题，亟需全链路
阅读全文
摘要：今天学习了爬虫 # 导入所需库 import urllib.request from lxml import etree # 设置目标URL和请求头信息，模拟Chrome浏览器访问 url = 'https://www.baidu.com/' headers = { 'User-Agent': 'M
阅读全文
摘要：实验报告 题目： Spar机器学习库 MLlib 编程实践 姓名 日期2024.1.14 实验环境：操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 实验内容与完成情况： 1.数据导入 从文件中导入数据，并转化为 DataFrame。 代码： from
阅读全文
摘要：今天继续完成实验 4.实验报告 题目： Spark Streaming 编程初级实践 姓名 日期2024.1.13 实验环境：操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 实验内容与完成情况： Flum安装 （1）解压安装包 tar -zxvf ap
阅读全文
摘要：今天完成了实验spark sql 题目： Spark SQL编程初级实践 姓名 实验环境：操作系统：Ubuntu18.04（或Ubuntu16.04）； Spark版本：3.2.0； Hadoop版本：3.1.3。 Pycharm Anaconda3 实验内容与完成情况： 基本操作 代码（注释操作）
阅读全文
摘要：Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another
阅读全文
摘要：今天继续rddd练习： from pyspark import SparkConf,SparkContext #创建sparkconf对象 conf = SparkConf().setMaster("local[*]").setAppName("test_app") #基于sparkconf对象创建
阅读全文
摘要：今天学习了rdd的过滤和去重： from pyspark import SparkConf,SparkContext #创建sparkconf对象 conf = SparkConf().setMaster("local[*]").setAppName("test_app") #基于sparkconf
阅读全文
摘要：今天看了spark的安装视频，进行了spark的基础学习。 rdd： map计算 rdd = sc.parallelize([1,2,3,4,5]) def func(date): return date*10 rdds=rdd.map(func) #flatMap解除嵌套 rdd = sc.par
阅读全文
摘要：第一次看《代码大全》的时候，收获并不大。当第二次在项目中，应用到代码大全的知识。Debug的时候、重构代码的时候，写伪代码的时候，将代码写在一个个的子程序中的时候。似乎对书中的知识理解的透彻很多。 将代码写在子程序的另外一个好处是，有时候你会发现以前没有发现过的事物的本质。——>你对程序理解的更加透
阅读全文
摘要：今天进行了erp的收尾作业，写了软件需求文档。在写文档的时候遇到了一些专业术语，需要仔细查阅资料，初步认识了书写文档的规范性
阅读全文
