11 2019 档案
摘要：__init__和__new__方法 __new__() 是在新式类中新出现的方法，它作用在构造方法建造实例之前，可以这么理解，在 Python 中存在于类里面的构造方法 __init__() 负责将类的实例化，而在 __init__() 启动之前，__new__() 决定是否要使用该 __init
阅读全文
摘要：一、MySQL的变量分类 MySQL变量一共分为两大类：用户自定义变量和系统变量。如下： 用户自定义变量 局部变量 会话变量 系统变量 会话变量 全局变量 局部变量 局部变量一般用于SQL的语句块中，比如存储过程中的begin和end语句块。其作用域仅限于该语句块内。生命周期也仅限于该存储过程的调用
阅读全文
摘要：自定义变量的属性和限制 使用自定义变量的查询，无法使用查询缓存。 不能在使用常量或者标识列的地方使用自定义变量，例如表名、列明和LIMIT子句中。 用户自定义变量的生命周期是在一个连接中有效，所以不能使用它们来做连接间的通信。 如果使用连接池或者持久化连接，自定义变量可能让看起来毫无关系的代码发生交
阅读全文
摘要：python执行json.loads（…）时遇到的错误json格式的文本中应该用双引号，而不是单引号，如： brief=json.loads(row["brief"].replace("'","\"")) 把单引号替换成双引号即可。
阅读全文
摘要：每个函数都有着自已的命名空间，叫做局部名字空间，它记录了函数的变量，包括函数的参数和局部定义的变量。每个模块拥有它自已的命名空间，叫做全局命名空间，它记录了模块的变量，包括函数、类、其它导入的模块、模块级的变量和常量。还有就是内置命名空间，任何模块均可访问它，它存放着内置的函数和异常。 按照如下顺序
阅读全文
摘要：Linux中的top命令显示系统上正在运行的进程。它是系统管理员最重要的工具之一。被广泛用于监视服务器的负载，top命令是一个交互命令。在运行top的时候还可以运行很多命令。 1. Top 命令输出: top命令会显示系统的很多信息。默认运行时，top命令会显示如下输出： 1.1 系统运行时间和平均
阅读全文
摘要：1.前言 本文使用"发现"二字，是表示我作为一个用过mysql oracle hive以及各种nosql数据库的男人，竟然发现有一个如此常识的数据库我竟然不知道。 在配置airflow的时候，我想当然的认为airflow的元数据应该储存在像是mysql类型的数据库中，我从来没有安装过sqlite，但
阅读全文
摘要：1.从调度到airflow ETL，是英文 Extract，Transform，Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，合理安排三者以及三者子类的过程被称之为数据调度。 在数据调度中，数据流程之间的依赖主要是以下
阅读全文
摘要：MySql数据库查询时，使用group_concat报错“Row XXX was cut by GROUP_CONCAT()”，查了下是因为group_concat有个最大长度的限制，超过最大长度就会被截断掉， 我们检查一下mysql的全局环境变量： mysql> SELECT @@global.g
阅读全文
摘要：TEXT类型一般分为 TINYTEXT(255长度)、TEXT(65535)、 MEDIUMTEXT（int最大值16M），和LONGTEXT(long最大值4G)这四种，它被用来存储非二进制字符集，二进制字符集使用blob类型的字段来存储。 对于text列，插入时MySQL不会对它进行填充，并且s
阅读全文
摘要：1.简介 做了一个excel的风控模板，里面含有宏，我用python的第三方xlwings部署到linux后发现，linux环境并不支持xlwings。 Python 程序都是脚本的方式，一般是在解析器里运行，如果要发布出去，需要提前安装解析器才可以运行。那么只能退而求其次，把所有代码封装成一个.e
阅读全文
摘要：概述 Mysql从5.7.8版本开始支持JSON字段，可以高效的处理JSON文档。相比字符串字段，JSON字段有下面的几处优势： 自动的校验JSON格式，无效的文档会产生错误 优化的存储格式（结构化的二进制格式），访问数据时不需要额外的解析，可能通过键或者数组索引来直接该问数据，而不是读取整个字段。
阅读全文
摘要：一、名词含义 我们在做产品推广时，最常见的合作方式有CPA/CPS/CPC/CPM，以及不常见的CPD/CPT/CPL，以下来详细解释这7个名词。 CPA：指的是按激活或者注册付费，比如一个激活，就是一个CPA。Cost Per Action 每行动成本 CPS：以实际销售产品数量来换算广告刊登金额
阅读全文
摘要：什么是POP3协议： POP3是Post Office Protocol 3的简称，即邮局协议的第3个版本,它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。它是因特网电子邮件的第一个离线协议标准,POP3允许用户从服务器上把邮件存储到本地主机（即自己的计算机）上，同
阅读全文
摘要：numpy.array插入一行或一列 import numpy as np a = np.array([[1,2,3],[4,5,6],[7,8,9]]) b = np.array([[0,0,0]]) c = np.insert(a, 0, values=b, axis=0) d = np.ins
阅读全文
摘要：问题 1. 将DataFrame数据保存到mysql后，添加索引出现错误提示： BLOB/TEXT column used in key specification without a key length 2. mysql> CREATE INDEX credit_creditchannel_pa
阅读全文
摘要：show full processlist; //列出当前的操作process，看到很多处于waiting的process，说明已经有卡住的proces。 这里我们看到是sending data的这条语句卡住了mysql + + + + + + + + + + + + | Id | User | H
阅读全文
摘要：问题介绍 打印了一下数据格式，并未发现问题。如果说是字典实例引起的。 我猜测也是extra字段引起的，因为extra字段是一个json字段。根据网上的提示要对这样的格式进行强转str. 其他发现：pd.to_sql操作还对我们的表进行了删除和重建（if_exists="replace"）,改变了我们
阅读全文
摘要：pandas中read_xxx的块读取功能 pandas设计时应该是早就考虑到了这些可能存在的问题，所以在read功能中设计了块读取的功能，也就是不会一次性把所有的数据都放到内存中来，而是分块读到内存中，最后再将块合并到一起，形成一个完整的DataFrame。 def read_sql_table(
阅读全文
摘要：查看所有mysql数据库表和索引大小 mysql查看当前所有的数据库和索引大小 select table_schema, concat(truncate(sum(data_length)/1024/1024,2),' mb') as data_size, concat(truncate(sum(in
阅读全文
摘要：一般都是连接mysql执行sql语句: 在命令行下输入 mysql -h localhost -u root -p回车,然后输入密码即可; 或直接运行mysql自带的连接工具,然后输入密码即可. 执行sql脚本,可以有2种方法: 第一种方法: 在命令行下(未连接数据库),输入 mysql -h lo
阅读全文
摘要：1.问题发现 df=pd.read_csv("X-go报表_交易20191118.csv") print(df.info()) File "pandas/_libs/parsers.pyx", line 394, in pandas._libs.parsers.TextReader.__cinit_
阅读全文
摘要：xlwings的特色 xlwings能够非常方便的读写Excel文件中的数据，并且能够进行单元格格式的修改 可以和matplotlib以及pandas无缝连接 可以调用Excel文件中VBA写好的程序，也可以让VBA调用用Python写的程序。 常用函数和方法 Book 工作簿常用的apiwb=xw
阅读全文
摘要：将ORM模型映射到数据库中 1. 用`declarative_base`根据`engine`创建一个ORM基类。 from sqlalchemy.ext.declarative import declarative_base engine = create_engine(DB_URI) Base =
阅读全文
摘要：add_url_rule和app.route原理剖析 add_url_rule add_url_rule(rule,endpoint=None,view_func=None) 这个方法用来添加url与视图函数的映射。如果没有填写endpoint，那么默认会使用view_func的名字作为endpoi
阅读全文
摘要：$ne null 会把空列表也算入，即使不存在。 $exists 的识别效果就比较好 1.插入样例数据 db.nullexistsdemo.insertMany( [{ "name" : "wqbin", "desc" : [ ] } ,{ "name" : "wang", "desc" : { }
阅读全文
摘要：IMEI 1.IMEI是什么 国际移动设备识别码（International Mobile Equipment Identity number，IMEI），俗称“手机串号”、“手机串码”、“手机序列号”，用于在GSM移动网络中识别每一部独立的手机， 相当于手机的身份证号码。IMEI码适用于GSM和W
阅读全文
摘要：方法一： 可以看到版本是5.7.26 方式二 ： 进入mysql，输入 select version(); mysql> select version(); 方法三： mysql -V
阅读全文
摘要：1.问题 今天又在mysql中遇到了，吐血。 2.解决方案 SQL最后加上 COLLATE utf8mb4_unicode_ci SELECT t2.cust_id as cust_id_ex,t1.* from ( SELECT * from credit_nigeria.apply WHERE
阅读全文
摘要：MySQL分组排序（取第一或最后） 方法一：速度非常慢，跑了30分钟 SELECT custid, apply_date, rejectrule FROM ( SELECT *, IF ( @pkey <> custid, @rank := 1, @rank := @rank + 1 ) AS ra
阅读全文
摘要：Beyond Compare 4 使用30天后过期续用方法 windows上的Beyond Compare 4软件过期了，两个方法: 方案一： 找到Beyond Compare 4安装目录，安装时默认D盘：D:\app\Beyond Compare 4删除BCUnrar.dll。 方案二： 先卸载软
阅读全文
摘要：HTTP是无状态（stateless）协议 http协议是无状态协议即不保存状态。 无状态协议的优点： 由于不需要保存记录，所以减少服务器的CPU和内存的资源的消耗。毕竟客户端一多起来保存记录的话对于服务器端来说是一个巨大的消耗。 无状态协议的缺点:比如当用户登录到淘宝，他转跳到淘宝的其他页面后，也
阅读全文
摘要：1. 登录http://www.amazingcounters.com/sign-up.php 这个地址去申请一个帐户，申请时填写好自己的资料，比如 你的统计风格样式、要统计的地址、要统计的类型，是浏览量(PV) 还是 访客数(UV) 2.第二步填写信息 site URL填写自己的信息 https:
阅读全文
摘要：df= pd.DataFrame({'a': range(10, 20), 'b': range(20, 30)}) df 1.链表推倒式 [column for column in df][a,b] 2.通过columns属性 columns属性返回Index，columns.values属性返回
阅读全文
摘要：1.超文本传输协议 超文本传输协议（HTTP）的设计目的是保证客户机与服务器之间的通信,web 浏览器可能是客户端，而计算机上的网络应用程序也可能作为服务器端。 HTTP的工作方式是客户机与服务器之间的请求-应答协议，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏
阅读全文
摘要：pandas 中的to_dict 可以对DataFrame类型的数据进行转换 可以选择六种的转换类型，分别对应于参数 ‘dict’, ‘list’, ‘series’, ‘split’, ‘records’, ‘index’ params:orient : str {‘dict’, ‘list’,
阅读全文
摘要：方法一：like SELECT * FROM 表名 WHERE 字段名 like "%字符%"; 方法二：find_in_set() 利用mysql 字符串函数 find_in_set();如果包含，返回>0的数，否则返回0 。 SELECT * FROM users WHERE find_in_s
阅读全文
摘要：alias 命令（注意全为小写）的功能是设置命令的别名，以简写命令，提高操作效率。根据参数的不同，该命令可查看已设定的别名，或为命令设置新的别名。 对于用户自定义别名，仅当前登录期内有效；也可修改配置文件（alias命令存放到bash的初始化文件/etc/bashrc中）使其长期有效。 alias
阅读全文
摘要：一、命令生成 pyc 文件 *.py：源码文件，由 Python 程序解释。 *.pyc：源码经编译后生成的二进制字节码（Bytecode）文件。 *.pyo：优化编译后的程序，也是二进制字节码文件。 虚拟机怎么执行py脚本： 完成模块的加载和链接； 将源代码翻译为PyCodeObject对象（这就
阅读全文
摘要：模板简介： 在之前的章节中，视图函数只是直接返回文本，而在实际生产环境中的页面大多是带有样式和复杂逻辑的HTML代码，这可以让浏览器渲染出非常漂亮的页面。目前市面上有非常多的模板系统，其中最知名好用的就是]inja2和Mako，这两个模板的特点和不同：1.Jinja2：]inja是日本寺庙的意思，并
阅读全文
摘要：配置文件两种方式详解 先讲两种直接传参： 直接简单传参 app =Flask(__name__) app.config['DEBUG']=True app.config.update( DEBUG=true, SECRET_KEY='xxxx' ) 1.使用app.config.from_objec
阅读全文
摘要：我就学习了网易课堂的知了Flaskk。 十分感谢。 └—01-Flask视图和URL ├—课时001.【Flask预热】课程介绍 ├—课时002.【Flask预热】Flask课程准备工作 ├—课时003.【Flask预热】URL组成部分详解 ├—课时004.【Flask预热】web服务器+应用服务器
阅读全文
摘要：想要启用调试模式，发现安装目前网上流行的两种方式均无法在Pycharm中打开调试模式。 1）直接在对象上设置 flask 更新到1.0以后 不支持使用debug =True 来开启调试模式了。 Prior to Flask 1.0 the FLASK_ENV environment variable
阅读全文
摘要：解决方案： 因为我们的服务器在是肯尼亚： 我么查看一下localtime 是否和 时区一致？ 可以看到是一致的。 应该是是配置改动后未重启！ service crond restart
阅读全文
摘要：这是因为Ubuntu上的服务名称是cron不是crond。所以你的命令应该是： sudo service cron start
阅读全文
摘要：因为 我们用conda托管了python虚拟环境,我自身的环境是wqbin，本来crontab脚本的命令是如下: 发生了如下的报错： 因为这里的环境是启动的是base的 所以找不相应的模块。于是我在执行python之前加上了，切换conda环境：
阅读全文
摘要：linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。 一、crond简介 cr
阅读全文
摘要：用字符串拼接SQL串实现动态SQL语句，经常使用。 不过在拼接SQL串中有许多技巧和小陷阱 1.遗漏""和'' 错误案例： 错误结果： 发现没有数据产生。。我还以为是连接错了数据库，检查了半天 修正： 修正后结果：
阅读全文
摘要：1. 帮助信息 命令行下执行"conda -h"或“conda --help”可以获得帮助信息； 命令行下执行"conda <argument> -h"或“conda <argument> --help”可以获得具体参数的帮助信息； conda --help usage: conda [-h] [-
阅读全文
摘要：1.Jupyter 更改默认启动路径方法 输入jupyter notebook --generate-config 会生成jupyter_notebook_config.py 找到文件，并打开 将 #c.NotebookApp.notebook_dir = '' 改为 c.NotebookApp.n
阅读全文
摘要：看这篇文章如果还不会。。。请顺着网线来打我！！！ 镜像问题： ModuleNotFoundError: No module named '__main__.xxxxx'; '__main__' is not a package 解决方法： 如果导入的模块和主程序在同个目录下，直接import就行了
阅读全文
摘要：1. Dataframe分组用groupby("列名")或者groupby(["列名1","列名2"]) import pandas as pd df = pd.DataFrame({'性别' : ['男', '女', '男', '女', '男', '女', '男', '男'], '成绩' : ['
阅读全文
摘要：毕竟是生产。。。。。 提示以下信息： gzip： stdin： not in gzip format tar： Child returned status 1 tar： Error is not recoverable： exiting now 原因是：这个压缩包没有用gzip格式压缩，所以不用加z
阅读全文
摘要：1.else的用法 对try...except的补充： else子句的使用比在子句中添加其他代码更好，try因为它避免了意外捕获由try... except语句保护的代码未引发的异常。 for arg in sys.argv[1:]: try: f = open(arg, 'r') except O
阅读全文
摘要：1.JSON JSON是JavaScript Object Notation的缩写，中文译为JavaScript对象表示法。用来作为数据交换的文本格式，作用类似于XML，而2001年Douglas Crockford提出的目的就是为了取代XML，它不是一种编程语言，仅用来描述数据结构。 它只是一个字
阅读全文
摘要：1.异常简介 即使语句或表达式在语法上是正确的，但在尝试执行它时也可能导致错误。执行期间检测到的错误称为异常。 实际上我们学习java的时候分为编译期异常和运行期异常，但是python没有编译期异常<可以暂且这么认为>。 因为我们对运行期异常可以捕获并操作所以异常并不是致命的。 try: a=1/0
阅读全文
摘要：有些快捷键经常，也经常忘记，就随便记一记。 1.替换 Ctrl+Shit+R 或者 Ctrl+R
阅读全文
摘要：一、ORM 1.什么是ORM 对象-关系映射（Object-Relational Mapping，简称ORM），面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，
阅读全文
摘要：连接MongoClient 连接MongoDB我们需要使用PyMongo库里面的MongoClient，一般来说传入MongoDB的IP及端口即可，第一个参数为地址host，第二个参数为端口port，端口如果不传默认是27017。另外MongoClient的第一个参数host还可以直接传MongoD
阅读全文
摘要：0.MongoDB数据库和集合创建与删除 MongoDB 创建数据库 语法： use DATABASE_NAME note:查看所有数据库使用show dbs 创建的空数据库 test并不在数据库的列表中，需要向 test数据库插入一些数据才能显示它。 MongoDB 删除数据库 MongoDB 删
阅读全文
摘要：明明我只是简单跑了一个数据清洗28W数据的python脚本，不知道怎么就报错如下： too many threads running within your python process The "can't start new thread" error almost certainly due
阅读全文
摘要：背景 有这么一张表，记录名字和分数，现在需要按照成绩排名，存在并列名次的情况 解决方法 思路：按照score从大到小排序，第一行数据就是第一名，第二行就是第二名......需要判断当前行的score和上一行的score的大小用来区分是否排名 细节说明 @preScore 这种是变量声明，类似之前的s
阅读全文
摘要：一、什么是MongoDB ? MongoDB一种由C++语言编写的，是一个基于分布式文件存储的非关系型数据库(NoSql)，是一种强大、灵活、可扩展的数据存储方式，因为MongoDB是文档模型，数据结构由键值(key=>value)对组成， 似于 JSON 对象，字段值可以包含其他文档，数组及文档数
阅读全文
摘要：有的时候在pycharm下的python需要加载很大的内存，那我们如何去修改pycharm的环境的内存呢？？ 第一个栈内存，第二是堆内存。
阅读全文
摘要：1.前言背景 没怎么用过df.where 都是直接使用loc、apply等方法去解决。 可能是某些功能还没有超出loc和apply的适用范围。 2.进入df.where和df.mask note:Replace values in DataFrame with other where the con
阅读全文
摘要：pandas 遍历有以下三种访法。 0.for i in df:并不是遍历行的方式 正式因为for in df不是直接遍历行的方式所以我们研究了如下方法。 1.iterrows（）：在单独的变量中返回索引和行项目，但显着较慢 2.itertuples（）：快于.iterrows（），但将索引与行项目
阅读全文
摘要：在SQL语言中去重是一件相当简单的事情，面对一个表（也可以称之为DataFrame）我们对数据进行去重只需要GROUP BY 就好。 select custId,applyNo from tmp.online_service_startloan group by custId,applyNo 1.D
阅读全文
