摘要:
DataFrame结构 DataFrame对象既有行索引,又有列索引 行索引,表明不同行,横向索引,叫index,0轴,axis=0 列索引,表名不同列,纵向索引,叫columns,1轴,axis=1 DatatFrame的属性 shape df.shape—形状 df.index 行索引 df.c 阅读全文
摘要:
![](https://img2018.cnblogs.com/blog/1552472/201909/1552472-20190906220040935-2138354818.jpg) 阅读全文
摘要:
ndarray的优势—为什么快? 存储空间连续,访问速度快 可以并行执行 Numpy底层使用C语言编写,内部解除了GIL(全局解释器锁),其对数组的操作速度不受Python解释器的限制,所以,其效率远高于纯Python代码。 numpy基于矩阵,矩阵可以分块计算,所以可以实现并行 ndarray的属 阅读全文
摘要:
知乎锁总结 使用 , 并尽量使用索引访问数据, 使加锁更更精确, 从而减少锁冲突的机会 选择 ,小事务发生锁冲突的几率也更小 给记录集显式加锁时, 。⽐比如要修改数据的话,最好直接申请排 他锁,而不是先申请共享锁,修改时再请求排他锁,这样容易产生死锁 不同的程序访问⼀组表时,应尽量 ,对⼀个表而言, 阅读全文
摘要:
目的 保证数据库安全稳定运行的技术 四大特性ACID(原子性、一致性、隔离性、持久性) 原子性 要么都成功, 要么都失败 实现机制是undo log ⼀致性 操作前后, 系统稳定,数据⼀致 原⼦子性不代表⼀致性 脏读/不可重复读/幻读 解决办法 调整事务隔离级别 提交事务后, 只有⼀半操作持久化成功 阅读全文
摘要:
锁目的 解决并发情况下资源抢夺问题, 维护数据的⼀致性 mysql的锁虽然开发者可以⼿手动设置, 但⽐比较影响并发性, ⼀般会 使⽤用 代替 ( 如Django中 到库存问题) 由于mysql会⾃自动使⽤用锁, 所以需要了了解锁机制——个别情况必须要加悲观锁,以便便优化数据库并发能力 粒度/覆盖范围 阅读全文
摘要:
军规适用场景:并发量大、数据量大的互联网业务 军规:介绍内容 解读:讲解原因,解读比军规更重要 一、基础规范 (1)必须使用InnoDB存储引擎 解读:支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高 (2)必须使用UTF8字符集 解读:万国码,无需转码,无乱码风险,节省空间 阅读全文
摘要:
进程管理工具 启动/停止/自动重启程序, 而且还可以对多个程序分组管理 安装 在python3兼容性不好, 需要使用python2进行安装 配置 生成默认配置 在/etc/下创建supervisor目录, 修改默认配置 配置程序的配置文件 执行配置 注意点 如果没有设置好脚本文件及可执行权限, 则需 阅读全文
摘要:
Gunicorn(绿色独角兽)是一个Python WSGI的HTTP服务器。从Ruby的独角兽(Unicorn )项目移植。该Gunicorn服务器与各种Web框架兼容,实现非常简单,轻量级的资源消耗。Gunicorn直接用命令启动,不需要编写配置文件,相对uWSGI要容易很多 安装 阅读全文
摘要:
1. 介绍 黑盒测试 通过界面操作进行程序的测试 白盒测试 通过代码来测试程序 粒度 单元测试 范围: 一个代码块, 如视图函数 集成测试 范围: 多个代码块配合 如测试令牌(先使用登录接口获取token, 再通过访问接口校验token) 系统测试 范围: 整个系统级别的测试, 包含整个系统所有的单 阅读全文
摘要:
拼写纠错 对于已经建立的articles索引库,elasticsearch还提供了一种查询模式,suggest建议查询模式 当我们输入错误的关键词 时,es可以提供根据索引库数据得出的正确拼写 自动补全 自动补全对类型映射有特殊要求, 不能使用原索引库, 需要创建单独的自动补全索引库 注意 推荐词的 阅读全文
摘要:
服务器模型:多进程、多线程、select、epoll 服务器代码 多进程、线程、协程 mysql索引 联合索引,覆盖索引,索引下推,最左 回表? "cs note MYSQL" redis 数据类型 应用场景 redis缓存 缓存设计 持久化 分布式锁 "cs note Redis" 消息队列rab 阅读全文
摘要:
安装 创建ES对象 搜索数据 添加数据 阅读全文
摘要:
基本查询 两种查询方法 查询条件设置在查询字符串中 查询条件设置在请求体中 GET也可以设置 根据文档ID 查询所有 默认分页10条 分页查询 from 起始 size 每页数量 全文检索 %20表示空格 高级查询 全文检索 根据分词后的结果进行查询, 按照得分排序 match 短语查询 要求包含所 阅读全文
摘要:
开发中, 更多的是从现有数据库中导入数据 Django中 python manage.py rebuild_index 就是在导入数据 方式 自己写一个程序, 按照之前的语法从数据库中读取数据并添加到es中 也可以使用Logstash工具导入数据 安装 从mysql中导入数据 创建配置文件 Logs 阅读全文