摘要: from boto3.session import Sessionimport boto3import osfrom io import StringIO class S3Connect(object): def __init__(self): self.aws_key = config.AWS_K 阅读全文
posted @ 2021-07-06 10:53 学渣Mia 阅读(193) 评论(0) 推荐(0) 编辑
摘要: API请求报错 用gunicorn起了一个server 请求数据计算量小的时候,能够正常返回结果。数据计算大的时候就不行。相同的请求有时候可以返回有时候不行。 从gunicorn的debug日志里看到worker timeout 于是google “gunicorn worker timeout”找 阅读全文
posted @ 2021-05-11 13:48 学渣Mia 阅读(831) 评论(0) 推荐(0) 编辑
摘要: 简单的删除 aws s3 rm s3://com.****.prd/:tmp/file_name.json # 删除文件 aws s3 rm s3://com.****.prd/:tmp/ --recursive # 删除文件夹 删除某个时间点前的文件 vim s3_file_delete.sh s 阅读全文
posted @ 2021-01-08 11:55 学渣Mia 阅读(956) 评论(0) 推荐(0) 编辑
摘要: TypeError: Object of type 'int64' is not JSON serializable def convert(o): if isinstance(o, numpy.int64): return int(o) raise TypeError json.dumps({'v 阅读全文
posted @ 2021-01-06 11:55 学渣Mia 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 为了确保环境独立,在docker里面安装 安装jupyter notebook pip install jupyter 生成配置文件 jupyter notebook --generate-config 生成密码 输入python >>> from notebook.auth import pass 阅读全文
posted @ 2021-01-06 11:44 学渣Mia 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1、先查看服务器上的cuda版本 ➜ ~ cat /usr/local/cuda/version.txt CUDA Version 9.0.176 2、根据服务器的cuda版本去docker hub 拉镜像 nvidia/cuda:9.2-devel-ubuntu18.04 3、用镜像创建容器 do 阅读全文
posted @ 2020-08-27 14:20 学渣Mia 阅读(5426) 评论(0) 推荐(1) 编辑
摘要: 一、ubuntu安装Docker 1、使用curl升级到最新版 curl -fsSL https://get.docker.com/ | sh 2、重启Docker sudo systemctl restart docker 3、设置Docker开机自启 sudo systemctl enable 阅读全文
posted @ 2019-12-25 17:51 学渣Mia 阅读(254) 评论(0) 推荐(0) 编辑