摘要： 摸鱼ing，Github上原作者的rep貌似被封了。 from datetime import date, datetime, timedelta import math,requests,os,random,re,json from wechatpy import WeChatClient, We 阅读全文

摘要： 问题描述：数据库表中的数据较之系统中的数据缺少了1000条左右，现有数据库表中每条记录的编码和系统中每条记录的编码，要求列出系统中有而数据库表中没有的所有编码。 f1 = open('./nc_code.txt',encoding='UTF-8') f2 = open('./sql_code.txt 阅读全文

摘要： Linux目录结构 | 常见 | 解释 | | :--: | : : | | bin | 二进制文件的缩写，存放最常用的命令 | | boot | 存放Linux启动时用的一些核心文件，包括一些连接文件以及镜像文件 | | dev | 存放Linux的外部设备，在Linux中访问设备的方式和访问文件 阅读全文

摘要： 1、MySQL架构 ​ 连接层、服务层、引擎层、存储层 2、存储引擎 ​ 查看存储引擎 -- 查看支持的存储引擎 SHOW ENGINES -- 查看默认存储引擎 SHOW VARIABLES LIKE 'storage_engine' --查看具体某一个表所使用的存储引擎，这个默认存储引擎被修改了 阅读全文

摘要： CDH是什么，核心组件（ 功能｜组件类型｜工作原理 ）。 1、 CDH 是什么 ​ CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Clo 阅读全文

摘要： OKR 目标管理法 - 做最重要的事 目标与关键结果 确定目标 - 定制关键任务 - 达成结果 KPI与OKR的区别 KPI 通常设定一整年 不公开 影响薪资 - 变得保守 OKR 通常设定三个月 公开透明 不影响薪资 - 敢于冒险 不会浪费公司资源，大家目标清晰可见 OKR制定 1、确定目标：短期 阅读全文

摘要： Flume 是一个分布式、可靠、和高可用的海量日志采集、聚和和传输的系统。可以理解为一个Agent，分为 source、channel、sink 三部分，将 数据源 通过 管道 下沉到 目的地。 Kafka 是一个分布式事件流平台，用于数据 采集 与 下沉 之间的缓冲，是基于 发布/订阅 的 消息队 阅读全文

摘要： 实训内容 本次实训，是以大数据基础知识为主要实训内容，结合目前主流框架。（ Springboot 框架 + 前端html、css、js） a、环境搭建 b、本次实训主要讲解Spark框架如何处理数据 1、离线数据的处理 2、实时数据的处理 c、主要Java后端开发框架Springboot框架+ech 阅读全文

摘要： 作业：定义一个伴生类和伴生对象Student 定义伴生类Student 属性：name、age、score private权限 定义getter和setter 定义伴生对象Student 定义apply和unapply方法 定义一个object对象，进行测试（分别调用apply方法和unapply方 阅读全文

摘要： 实验数据 本实验所用数据为江苏省南京市出租车的GPS位置数据，包含了7,726辆出租车的共33,042,225条位置记录，各字段以制表符分隔。建议上传至HDFS与Hive进行分析处理。 各字段定义 字段 定义 VehicleId 出租车标识符 Time 数据收集时间 Longitude 经度 Lat 阅读全文