flask--接口响应慢的问题
摘要：flask程序接口响应慢，测试了一下，一个简单的接口，响应时间在毫秒级--15s之间，简直像个杀手一样。这个接口主要实现的作用就是通过某个唯一字段去获取值，类似于select * from user where name='zhangsan'这个复杂度，数据量在不到5000的样子，照理不应该出现这么
阅读全文
posted @ 2022-05-27 19:22
随笔分类 - mysql
sqlalchemy.exc.OperationalError: (pymysql.err.OperationalError) (2006, "MySQL server has gone away
摘要：报错如下： CR.CR_SERVER_GONE_ERROR, "MySQL server has gone away (%r)" % (e,) sqlalchemy.exc.OperationalError: (pymysql.err.OperationalError) (2006, "MySQL
阅读全文
posted @ 2022-05-27 19:03
使用flask sqlalchemy过程中遇到的问题
摘要：程序背景： 2个定时任务分别去执行两个数据库的操作，使用的定时任务工具是： from apscheduler.schedulers.background import BackgroundScheduler（非阻塞） from apscheduler.schedulers.blocking impo
阅读全文
posted @ 2022-05-27 19:02
大数据利器分享--clickhouse
摘要：之前使用数据库较多的是mysql，其次是redis和mongo。应对数据量较大的情况时：对mysql做了分区存储。mysql在常规情况下的存储量级是：2000万。但是当数据量越来越大的情况下，效率也会相应降低。 场景：从es获取了应用日志，入库后分析。首先用开源框架“达芬奇”将入库后的数据进行展示，
阅读全文
posted @ 2022-05-27 18:54
mysql--clickhouse语法差异
摘要：Mysql 7天前 concat(substr(date_sub(now(),interval 7 day),1,10),' 00:00:00') Clickhouse 7天前 select subtractDays(now(),7) MySQL 字符串类型求和 sum(CONVERT(host_n
阅读全文
posted @ 2022-05-27 17:59
mysql--导出excel命令
摘要：导出命令 select * from user into outfile '/Users/edy/Downloads/user.xls'; 报错： Variable ‘secure_file_priv’ is a read only variable 查看secure_file_priv的值 sho
阅读全文
posted @ 2022-05-27 17:34
mysql--记2次脏数据清理
摘要：有时候程序执行的过程中，可能有逻辑漏洞，导致同样一条数据多次insert到表里，造成了垃圾数据，在清理的时候又不能一杆子都打死，需要将重复数据中，id最小的保留 DELETE FROM public_sentiment WHERE id IN ( SELECT * FROM ( SELECT id
阅读全文
posted @ 2022-05-23 14:21
Mysql prepare预编译--防止SQL注入
摘要：mysql> prepare ins from 'insert into t value (?,?)'; Query OK, 0 rows affected (0.01 sec) Statement prepared mysql> set @a=1,@b=2; Query OK, 0 rows af
阅读全文
posted @ 2022-01-16 11:31
mysql分区表
摘要：假如有一个每分钟定时执行的定时任务，一分钟的数据量是100，一天24小时，每小时60分钟 一天的数据量是24*60*100=144000，30天的数据量高达430万+，源源不断的数据使得mysql的效率骤然下降，mysql单表数据量达到千万、亿级，这时如何存储大量数据是个重要的问题，如果水平分表，此
阅读全文
posted @ 2022-01-16 11:09
mysql备份任务
摘要：crontab -l 查看定时任务 #定时备份mysql数据库 10 00 * * * /usr/local/shell/innobackupex.sh cat /usr/local/shell/innobackupex.sh 查看备份脚本 #!/bin/sh # MySQL端口 PORT='330
阅读全文
posted @ 2022-01-16 11:05
mysql--数据导入导出
摘要：1、导出 [root@mysql ~]# mysqldump -u root -p123456 db > db0801.sql mysqldump: [Warning] Using a password on the command line interface can be insecure. 2
阅读全文
posted @ 2022-01-16 10:36
django--时区问题导致mysql时间晚8小时怎么改
摘要：1、设置Django项目的时区设置 USE_TZ = False 2、可能数据库已经有时间字段晚8小时的数据，需要将其用sql语句进行统一 # 查询目前数据库有哪些表有时间字段 select TABLE_SCHEMA,TABLE_NAME,COLUMN_NAME,DATA_TYPE from inf
阅读全文
posted @ 2020-08-28 20:42
mysql--备份，导入备份
摘要：方法1、 导出（p后不空格直接密码），记住备份文件路径 mysqldump -u root -p密码 数据库 > 备份文件.sql 导入： 1、进入数据库：mysql -uroot -p 2、use 数据库 3、source 备份文件.sql 方法二：多张表同时 导出 mysqldump -u ro
阅读全文
posted @ 2020-08-28 20:36
docker--安装oracle
摘要：1、 docker pull alexeiled/docker-oracle-xe-11g 报错：Error response from daemon: pull access denied for alexeiled/docker-oracle-xe-11g, repository does no
阅读全文
posted @ 2020-03-14 00:16
mysql5.7--sql_mode ONLY_FULL_GROUP_BY问题
摘要：(1055, "Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'XX' which is not functionally dependent on columns i
阅读全文
posted @ 2020-03-03 21:18
linux--python程序员安装大全
摘要：linux安装python3 https://www.cnblogs.com/yhongji/p/9383857.html linux安装git yum install git linux安装mysql 5.7 https://www.cnblogs.com/daemon-/p/9009360.ht
阅读全文
posted @ 2020-03-03 00:36
python--安装mysqlclient报错
摘要：|████████████████████████████████| 90 kB 9.5 MB/s ERROR: Command errored out with exit status 1: command: /usr/local/python3/bin/python3.7 -c 'import
阅读全文
posted @ 2020-03-03 00:32
mysql--容器无法启动
摘要：mysql服务总是在重启状态 查看mysql容器日志 # docker logs 镜像名称 InnoDB: If this error appears when you are creating an InnoDB database, InnoDB: the problem may be that
阅读全文
posted @ 2020-02-28 12:45
django-mysql报错
摘要：在执行python3 manage.py migrate时报错：操作错误，某库未给某用户授权 django.db.utils.OperationalError: (1044, "Access denied for user 'xxx'@'localhost' to database 'xxx'")
阅读全文
posted @ 2020-01-17 21:54
django-数据库迁移-Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE
摘要：Django数据库迁移报错：1267, "Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation '='" 原因是在创建数据库时没有指定编码utf8 正确
阅读全文
posted @ 2019-12-29 18:21
