摘要：
multiprocessing在每创建一个进程时，会将主进程的内存空间原封不动的复制一份到子进程，这样一来内存消耗很容易就翻几倍，导致程序无法运行。 究其原因，是启动进程时采用了os.fork()，使子进程继承父进程全部资源 那么如何解决呢？ 1. 最有效的方法：创建完进程后，再加载大内存变量 im 阅读全文
摘要：
问题背景： 我用sqlalchemy_mptt构建了一个多级分类项目，数据库用了sqlite。随着数据条数越来越多，写入速度逐渐变慢，一棵树的插入甚至需要1分钟，远远不能满足需求 分析思路： 1. 批量插入 代码中使用的是 session.add(node) session.commit() 我首先 阅读全文
摘要：
开发web服务中，发现当url中含有空格时，会报 400 error： bad request sytanx，经分析，url中含有特殊字符时，服务端可能无法识别。如+，空格，/，?，%，#，&，=等。该如何破呢？ 应当使用字符转义，将特殊字符进行编码表示。编码格式是：% + 对应字符的ascii码。 阅读全文
摘要：
有时我们需要对文件进行抽样，这时候只需要一个shell命令就可以抽取固定行数的样本：shuf shuf -n $m $file 参数有2: -n: 抽样行数 -r: 是否重复 阅读全文
摘要：
scala的模式匹配极其强大，其中有一种用法是用case语句匹配序列和元组。 放码过来： 其中，_表示一个元素，_*表示0个或多个元素 List[_]这种写法可以匹配类型模式，而 @ List(1, _*)可以匹配一个变量绑定的模式 阅读全文
摘要：
tf.gather：用一个一维的索引数组，将张量中对应索引的向量提取出来 阅读全文
摘要：
maven默认的远程库下载起来非常慢，习惯改成aliyun的库。 一、修改maven配置 打开maven配置文件setting.xml，改mirror 二、修改项目pom 只针对单个项目的化，修改pom.xml即可 阅读全文
摘要：
当使用case when时，有时会需要对某个字段做子串匹配。如果是在where条件中，我们会直接使用 like '%xx%'来匹配，但case when语句不行 这时需要使用instr函数 examples: 阅读全文