随笔分类 - python
摘要：#Filter IS IN List values li=["OH","CA","DE"] df.filter(df.state.isin(li)).show() + + + + + | name| languages|state|gender| + + + + + | [James, , Smit
阅读全文
摘要：安装相关包 pip install pyrasite pip install guppy3 pip install mem_top 使用top查看pid 使用pyrasite连接进程 pyrasite-shell pid 通过pyrasite连接进城后，两种方式打印内存信息： from guppy
阅读全文
摘要：安装py-spy pip install py-spy top查看python pid top 查看代码堆栈 py-spy top --pid 1780
阅读全文
摘要：问题 训练模型时，训练到第2个epoch时程序无缘无故消失，没有打印任何异常日志 定位方法 程序加try catch，捕获异常日志，运行python时使用如下命令记录error信息 nohup python xxx.py > nohup.out 2>&1 & 结果：nohup没有记录任何信息，训练过
阅读全文
摘要：背景 使用pytorch加载huggingface下载的albert-base-chinede模型出错 Exception has occurred: OSError Unable to load weights from pytorch checkpoint file. If you tried
阅读全文
摘要：import pandas as pd def apply_func_demo(x: int) -> int: return x*10 def apply_func_concat(x: pd.DataFrame) -> str: if x['age'] % 2 == 0: return '男' el
阅读全文
摘要：from gevent import monkey from gevent.pool import Pool # 猴子补丁，替换底层thread/socket实现非阻塞 monkey.patch_all() import gevent import requests def func(url): p
阅读全文
摘要：import random import pandas as pd if __name__ == "__main__": df = pd.read_excel('../data/train.xlsx', dtype=str) result = [] for item in df.itertuples
阅读全文
摘要：tfserving模型部署见：https://www.cnblogs.com/bincoding/p/13266685.html demo代码：https://github.com/haibincoder/tf_tools 对应restful入参： { "inputs": { "input": [[
阅读全文
摘要：问题背景：python通过grpc调用tfserving报错， 提示：AttributeError: module 'tensorflow_serving.apis.prediction_service_pb2' has no attribute 'beta_create_PredictionSer
阅读全文
摘要：首先安装pyltp "pytlp项目首页" 单例类（第一次调用时加载模型） 使用pyltp提取地址 python import os from pyltp import Segmentor, Postagger, NamedEntityRecognizer from main.models.Sing
阅读全文
摘要：需求 本地开发python django应用程序，然后放到生产环境运行。使用了tensorflow，手动安装包很麻烦。生产环境不能联网，不能使用 pip freeze。 思路： 使用docker，直接将应用程序打包成镜像。缺点：生产环境特殊，可能不允许使用docker，部分运维人员不会docker，
阅读全文
摘要：普通方法 实例化一个类，然后通过类的实例化去调用方法： @classmedhod 依赖类而不依赖示例，定义方法的时候第一个参数指代当前类 @staticmedhot 静态方法，和java, C 一致，只是定义在类中，和类并没有关系
阅读全文
摘要：今天LeetCode的时候暴力求解233 问题： 给定一个整数 n，计算所有小于等于 n 的非负数中数字1出现的个数。 例如： 给定 n = 13， 返回 6，因为数字1出现在下数中出现：1，10，11，12，13。 代码： 错误： maximum recursion depth exceeded
阅读全文
摘要：tf.truncated_normal(shape, stddev=0.1) 从截断的正态分布中输出随机值。 生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。 参数: shape: 一维的张量，也是输出的张量。 mean: 正态分布的均值。 st
阅读全文
摘要：sklearn中的classification_report函数用于显示主要分类指标的文本报告．在报告中显示每个类的精确度，召回率，F1值等信息。 主要参数: y_true：1维数组，或标签指示器数组/稀疏矩阵，目标值。 y_pred：1维数组，或标签指示器数组/稀疏矩阵，分类器返回的估计值。 la
阅读全文
摘要：# 文本文件必须是utf-8无bom格式 from gensim.models.deprecated.word2vec import Word2Vec model = Word2Vec.load( './model/Word60.model') # 3个文件放在一起：Word60.model Wor
阅读全文
摘要：问题：以前使用Pycharm和VsCode没遇到问题，使用nodepat++老是提示Tab异常 TabError: inconsistent use of tabs and spaces in indentation。 查看：视图-显示符号-显示所有字符 解决办法： 1.删除Tab符号，使用空格替代
阅读全文
摘要：简介 查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于Python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都有一个C++的实现。 正好我写的一些文章，我没能很好的分类，我想
阅读全文
摘要：scipy cluster库简介 scipy.cluster是scipy下的一个做聚类的package, 共包含了两类聚类方法: 1. 矢量量化(scipy.cluster.vq):支持vector quantization 和 k-means 聚类方法 2. 层次聚类(scipy.cluster.
阅读全文
