摘要：
##引言 ###这几天参加经管三创杯比赛，要做一个物流的网页，要求实现路径规划。第一个想到的就是高德地图（不喜欢百度地图，感觉坑）。 ###整体的想法就是通过输入起始点和终止点，返回最优路径规划。 ##运行效果 ##工具 python3.8 flask框架 高德地图API ##内容 ###不管说什么 阅读全文
摘要：
需求背景 现在有两张表，A表结构如下 B表结构如下，区间表示产品重量在此区间的价格 要求是结合AB表，算出A表中每个产品的价格 解题思路 把AB表相连接肯定是通过相同的字段（地区代码）进行连接，但是如果只是普通的连接，已然找不到合适的区间。所以想到把运费区间多列变成多行单列，如下 然后我们在通过提取 阅读全文
摘要：
#-*- coding: utf-8 -*- # coding:unicode_escape #@Time : 2021/3/3 15:10 #@Author : 杨晓 #@File : binary_read.py #@Software: PyCharm import tensorflow as 阅读全文
摘要：
引言 品类是指产品的分类，大型电商网站品类分多级，咱们的项目中品类只有一级，不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。如 鞋 点击数 下单数 支付数 衣服 点击数 下单数 支付数 电脑 点击数 下单数 支付数 本项目需求优化为：先按照点击数排名，靠前的就 阅读全文
摘要：
引言 通过学习RDD，并了解和掌握RDD的转换算子和行动算子。现在对所有能实现wordCount的功能的算子总结一下。 正文 用了8个方法来实现wordCount。通过对比，发现有些方法类似。运行结果读者自行验证 代码 package com.xiao.spark.core.wc import or 阅读全文
摘要：
数据准备: agent.log：时间戳，省份，城市，用户，广告，中间字段使用空格分隔。 数据截图: 需求描述: 统计出每一个省份每个广告被点击数量排行的 Top3 需求分析: 1、拆分数据，将每条数据转化为 > ((省份，广告)，1) 2、对相同的key进行累加求和 3、重新拆分数据，将数据由((省 阅读全文
摘要：
引言 本文主要讲一些双value类型的函数，主要用于两个RDD的操作 正文 intersection 函数签名:def intersection(other: RDD[T]): RDD[T] 函数说明:对源 RDD 和参数 RDD 求交集后返回一个新的 RDD 解释:必须要求两个RDD的数据类型相同 阅读全文
摘要：
引言 接上一篇博客 正文 sample 函数签名:def sample(withReplacement: Boolean,fraction: Double,seed: Long = Utils.random.nextLong): RDD[T] 函数说明:根据指定的规则从数据集中抽取数据 案例:随机抽 阅读全文
摘要：
引言 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value类型，本文主要讲一些Value 类型 正文 资源路径和资源内容 map ###函数签名:def map[U: ClassTag](f: T ⇒ U): RDD[U] ###函数说明:将处 阅读全文
摘要：
项目源码: https://github.com/yx1300/kaoqing/ 1、项目需求： 企业员工考勤管理系统是一个企业单位信息化建设不可缺少的部分。考勤管理系统是针对某公司对该公司职工的考勤、查询、信息录入、核查、统计分析等功能为一体的应用软件，为用户提供充足的信息和快捷的查询手段。 2. 阅读全文