摘要：
1.数据保存到内存中 优点:读写快 缺点:程序关闭时，会造成数据丢失 2.数据保存到文件 优点:数据可以永久保存 缺点：频繁的IO操作，效率不高 数据管理不方便。例如查询某个数据需要全部读取出来，再匹配 3.数据保存到数据库中 优点： 1）数据永久保存下来 2）数据管理非常方便。（例如查询非常快速和 阅读全文
摘要：
一.Cookie会话 cookie技术会话数据会保存在浏览器客户端 cookie技术核心: 1.构造cookie对象 2.设置cookie：有效访问时间(setMaxAge)，有效访问路径(setPath)，设置cookie的值(setValue) 3.发送cookie到客户端保存：response 阅读全文
摘要：
from pyspark.ml.clustering import KMeans, KMeansModel from pyspark import SparkContext from pyspark.sql import SparkSession, Row from pyspark.ml.linal 阅读全文
摘要：
spring作用:解决对象创建和对象依赖之间的关系，把对象的创建交给外部容器，也可以和其他框架一起使用spring核心: 1.IOC(控制反转):把对象的创建交给外部容器 创建完对象之后，对象关系的处理就是依赖注入(通常使用set方法注入) 2.AOP切面编程:可以理解成一个类，由很多重复代码构成的 阅读全文
摘要：
注:erroe:5** 服务器端错误 4**地址错误或错误发生在客户端 1.基本的网页下载 from urllib import request from urllib.error import URLError def download(url): reponse= request.Request 阅读全文
摘要：
一.方法简介 决策树是一种基本的分类与回归方法，这里主要介绍用于分类的决策树。决策树模式呈树形结构，其中每 个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一个类别。学习时利用 训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类 二. 阅读全文
摘要：
逻辑斯蒂回归: 逻辑斯蒂回归是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的， 也可以是多分类的 基本原理 logistic 分布 折X是连续的随机变量，X服从logistic分布是指X具有下列分布函数和密度函数: 其中为位置参数，为形状参数。与图像如下，其中 阅读全文
摘要：
特征选择（Feature Selection）指的是在特征向量中选择出那些“优秀”的特征，组成新的、更“精简”的特征向量的过程。它在 高维数据分析中十分常用，可以剔除掉“冗余”和“无关”的特征，提升学习器的性能。特征选择方法和分类方法一样，也主要分为有监督（Supervised）和无监督（Unsup 阅读全文
摘要：
之前介绍的StringIndexer是针对单个类别型特征进行转换，倘若所有特征都已经被组织在一个向量中 ，又想对其中某些单个分量进行处理时，Spark ML提供了VectorIndexer类来解决向量数据集中的类别 性特征转换。通过为其提供maxCategories超参数，它可以自动识别哪些特征是类 阅读全文
摘要：
独热编码（One-Hot Encoding） 是指把一列类别性特征（或称名词性特征，nominal/categorical features）映射成一系列的二元 连续特征的过程，原有的类别性特征有几种可能取值，这一特征就会被映射成几个二元连续特征，每一个特征代表一种取值，若该样 本表现出该特征，则 阅读全文