04 2022 档案
摘要：1.numpy入门 numpy介绍（终极目的：读取文件数字数据进行处理，文字处理用pandas NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 NumPy Ndarray 对象:NumPy
阅读全文
摘要：1.MySQL索引优化 mysql客户端通过协议与mysql服务器建立连接，发送查询语句，先检查查询缓存，如果命中，直接返回结果，否则进行语句解析，有一系列预处理，比如检查语句是否写正确了，然后是查询优化（比如是否使用索引扫描，如果是一个不可能的条件，则提前终止），生成查询计划，然后查询引擎启动，开
阅读全文
摘要：1.配置winutil的环境变量 然后在Path变量中加入 2.测试 创建一个普通的Java工程测试 FileSystem fs = null; @Before public void init() throws Exception{ fs = FileSystem.get(new URI("hdf
阅读全文
摘要：使用时先安装 lxml 包 节点、元素、属性、内容 xpath 的思想是通过 路径表达 去寻找节点。节点包括元素，属性，和内容 元素举例： html ： <html> ...</html> div ： <div> ...</div> a ： <a> ...</a> 路径表达式 / 根节点，节点分隔符
阅读全文
摘要：1.准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 1
阅读全文
摘要：第一范式(1NF) 数据表的每一列都要保持它的原子特性，也就是列不能再被分割。 第二范式(2NF) 概率：属性必须完全依赖于主键。下满这张表不符合第二范式的要求。 依赖 在数据表中，属性（属性组）X确定的情况下，能完全退出来属性Y完全依赖于X。 完全依赖完全依赖是针对于属性组来说，当一组属性X能推出
阅读全文
摘要：一、事务 原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。 一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写
阅读全文
摘要：视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。 通过视图，可以展现基表的部分数据； 视图数据来自定义视图的查询中使用的表，使用视图动态生成。 基表：用来创建视图的表叫做基表 视图的诸多优点，如下: (1）简单：使用视图的用户完全不需要
阅读全文
摘要：ssh（secureshell，安全外壳协议），该协议有2个常用的作用：远程连接协议、远程文件传输协议。 协议使用端口号：默认是22可以是被修改的，如果需要修改，则需要修改ssh服务的配置文件：#/etc/ssh/ssh_config 端口号可以修改，但是得注意2个事项： a. 注意范围，端口范围是
阅读全文
摘要：首先安装scrapy需要的依赖 通过windows的cmd中输入以下指令下载依赖 python -m pip install --upgrade pip(更新下载器) pip install wheel pip install lxml pip install twisted pip install
阅读全文
