随笔分类 - 大数据 / 数据采集处理
python，mysql，hadoop数据爬取处理
摘要：描述：在修改数据库字段或者新增数据库字段之后，进入kettle工具使用映射找不到这个字段或者字段没有更新，需要清理缓存，就能刷新了 前提：数据库连接是在这里新建，然后设置共享，给所有转换和作业使用的 在这里清除数据库缓存
阅读全文
摘要：简介 聚类：将原始数据分类 ( 数据集 -> 聚类算法 -> 数据分组 ) 目的：希望将数据根据特征的密度找相似性，分为指定或者若干数据组 使用场景： 简单的如将同颜色的球分类，或将一个班的成绩分类为文科科目好的学生和理科科目好的学生 复杂的，图像特征识别等 概念解释： 主要有两个参数进行调节dis
阅读全文
摘要：1.使用Python操作MySQL数据库 在Windows系统中安装好MySQL8.0.23和Python3.8.7，然后再完成下面题目中的各项操作。 现有以下三个表格： 表1 学生表：Student（主码为Sno） 学号（Sno） 姓名（Sname） 性别（Ssex） 年龄（Sage） 所在系别（
阅读全文
摘要：mysql> use GYS 第一种设主键方式mysql> create table s -> (sno varchar(2), -> sname varchar(6), -> status int, -> city varchar(4), -> primary key(sno)); 第二种设主键方
阅读全文
摘要：创建数据库 create database PYtoDB; 使用数据库 use PYtoDB 建表 create table Student (Sno int PRIMARY KEY, Sname varchar(20) , Ssex nvarchar(2), Sage int , Sdept va
阅读全文
