05 2019 档案
摘要：问题描述： 不知道大家有没有发现，在我们用 IDEA 敲击代码的时候，经常会发现如下所示的现象： 报出的错误：Class 'GeoUtil' is never used 翻译之后得出的是：从未使用过类'GeoUtil' 解决办法： 如果你感觉看起来不爽的话，那么就只需要这样操作就可以了： File
阅读全文
摘要：在File --> Settings --> Code Sytle 中勾选 Wrap on typing 选项， 进入到【Code Style】中可以看到 Right Margin 的默认值为120，即表明当前代码行的宽度提示为 120 个字符长度，这里我想设置为 150 个 字符长度，如下图：
阅读全文
摘要：问题描述： 不知道大家有没有发现，在我们用 IDEA 敲击代码的时候，经常会发现如下所示的现象： 报出的错误：Spellchecker inspection helps locate typos and misspelling in your code,comments and literals,a
阅读全文
摘要：在idea中，当初手动第一次写 spring 配置文件的时候，出现了上面这个错误。错误提示如下： 很明显的两行错误提示。将鼠标放在上面，软件会提示 “URI is not registered ( Setting | Project Settings | Schemas and DTDs )”，翻译
阅读全文
摘要：问题描述： 创建的maven项目，右键 New -> XML Configuration File 时，无 Spring Config 选项。即没有下图中的选项： 解决方法： 导入 spring 相关的依赖，比如：spring-context-support 或者 spring-webmvc，如下图
阅读全文
摘要：问题描述： 新建的 maven 的 Module 项目，webapp 文件夹也是在创建完项目后手动添加的，出现了 webapp 文件夹不能被识别的情况。 解决方案： 第一步： 选中项目按 F4 键，找到你的项目 或者 选中项目 右键，然后点击 Open Module Settings 第二步： 选中
阅读全文
摘要：TF-IDF算法代码示例0.引入依赖1.定义数据和预处理2.进行词数统计3.计算词频 TF4.计算逆文档频率 IDF5.计算 TF-IDF TF-IDF算法代码示例 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分
阅读全文
摘要：LFM--梯度下降法--实现基于模型的协同过滤0.引入依赖1.数据准备2.算法的实现3.测试 LFM--梯度下降法--实现基于模型的协同过滤 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析、科学计算 1.数据准
阅读全文
摘要：无监督学习--聚类模型--K 均值0.引入依赖1.数据的加载和预处理2.算法实现3.测试 无监督学习--聚类模型--K 均值 0.引入依赖 import numpy as npimport matplotlib.pyplot as plt# 这里直接 sklearn 里的数据集from sklear
阅读全文
摘要：有监督学习--简单线性回归模型（调用 sklearn 库代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.导入机器学习库 sklearn4.测试：运行算法，从训练好的模型中提取出系数和截距5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型（调用 sklearn
阅读全文
摘要：有监督学习--分类模型--K 近邻（kNN）0.引入依赖1.数据的加载和预处理2.核心算法实现3.测试4.自动化测试 有监督学习--分类模型--K 近邻（kNN） 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析
阅读全文
摘要：有监督学习--简单线性回归模型（梯度下降法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试：运行梯度下降算法，计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型（梯度下降法代码实现）
阅读全文
摘要：有监督学习--简单线性回归模型（最小二乘法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型拟合函数4.测试：运行最小二乘算法，计算 w 和 b5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型（最小二乘法代码实现） 0.引入依赖 import num
阅读全文
摘要：第七章 异常7.1 异常的简介和异常的处理7.2 异常的传播7.3 异常对象7.4 自定义异常对象第八章 文件8.1 文件--打开8.2 文件--关闭8.3 文件--简单读取8.4 文件--读取大文件8.5 文件--readline8.6 文件--写入8.7 文件--二进制文件8.8 文件--see
阅读全文
摘要：第五章 函数5.1 函数的简介5.2 函数的参数5.3 函数参数传递的方式5.4 函数的不定长参数5.5 函数的返回值5.6 函数的文档字符串--函数的说明5.7 变量的作用域与命名空间5.8 函数的递归5.9 高阶函数5.10 函数的闭包5.11 装饰器--扩展函数的功能第六章 对象6.1 面向对
阅读全文
摘要：第三章 流程控制语句3.1 简介3.2 条件判断语句（if 语句）3.2.1 if 语句3.2.2 input 函数3.2.3 if-else 语句3.2.4 if-elif-else 语句3.2.5 if 练习3.3 循环语句（while 语句 + for 语句）3.3.1 while 循环3.2
阅读全文
摘要：第一章 计算机基础知识1.1 课程介绍1.2 计算机是什么1.3 计算机的组成1.4 计算机的使用方式1.5 windows 的命令行1.6 环境变量（environment variable）1.7 path 环境变量1.8 进制1.9 文本文件和字符集1.10 Sublime Text 3第二章
阅读全文
摘要：第一章 数据库的概述1.1 什么是数据库1.2 数据库分类第二章 MongoDB 的简介、下载、安装、启动、配置和关闭2.1 MongoDB 简介2.2 下载 MongoDB2.3 安装 MongoDB2.4 启动 MongoDB2.5 配置 MongoDB 的 windows 服务2.6 关闭 M
阅读全文
摘要：第四章 解析 Redis 配置文件 redis.conf4.1 Units 单位4.2 INCLUDES 包含4.3 GENERAL 通用4.4 SNAPSHOTTING 快照4.5 SECURITY 安全4.6 LIMITS 限制4.7 APPEND ONLY MODE 追加4.8 常见配置 re
阅读全文
摘要：第一章 NoSQL 入门概述1.1 入门概述1.1.1 单机 MySQL 的美好年代1.1.2 Memcached(缓存) + MySQL + 垂直拆分1.1.3 MySQL 主从复制--读写分离1.1.4 分表分库 + 水平拆分 + MySQL 集群1.1.5 MySQL 的扩展性瓶颈1.1.6
阅读全文
摘要：1. ELK 简单介绍2. ELK 的用途3. ELK 的优点4. ELK 旧版架构5. ELK 新版架构6. 新版 ELK 架构介绍 1. ELK 简单介绍 ELK 是 elastic(美国数据搜索软件初创公司) 公司提供的一套完整的日志收集、日志搜索分析、展示解决方案，是三个产品的首字母缩写。这
阅读全文
摘要：一 概述1.1 什么是搜索？1.2 如果用数据库做搜索会怎么样？1.3 什么是全文检索和 Lucene？1.4 什么是 Elasticsearch？1.5 Elasticsearch 的适用场景1.6 Elasticsearch 的特点1.7 Elasticsearch 的核心概念1.7.1 近实时
阅读全文
摘要：第4章 凸优化算法4.1 梯度下降4.2 牛顿法4.3 拟牛顿法4.4 BFGS 算法第5章 L1、L2 正则化5.1 从经验风险最小化到结构经验最小化5.2 范数与正则项5.3 贝叶斯先验第6章 线性回归算法6.1 数学模型6.2 线性回归的应用6.2 Spark MLlib 实现第7章 FPGr
阅读全文
摘要：第1章 机器学习概述1.1 机器学习是啥？1.2 机器学习能干啥？1.3 机器学习有啥？1.4 机器学习怎么用？第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR &
阅读全文
摘要：Spark 的监控方式 1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息--重要）2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况--资源瓶颈--重要）3、Nmon 主机 CPU、网络、磁盘、内存（提供了单机信息）4、Jmeter 系
阅读全文
摘要：第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜（Data Skew）1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 运行资
阅读全文
摘要：Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间
阅读全文
摘要：第1章 Spark 整体概述1.1 整体概念1.2 RDD 抽象1.3 计算抽象1.4 集群模式1.5 RPC 网络通信抽象1.6 启动 Standalone 集群1.7 核心组件1.8 核心组件交互流程1.9 Block 管理1.10整体应用第2章 Spark 通信架构2.1 通信组件概览2.2
阅读全文
