随笔分类 - 小知识
摘要：在处理大规模数据时，数据无法全部载入内存，我们通常用两个选项 使用tfrecords 使用 tf.data.Dataset.from_generator() tfrecords的并行化使用前文已经有过介绍，这里不再赘述。如果我们不想生成tfrecord中间文件，那么生成器就是你所需要的。 本文主要记
阅读全文
摘要：Docker 属于 Linux 容器的一种封装，提供简单易用的容器使用接口 安装 docker 设置仓库 $ sudo yum install -y yum-utils $ sudo yum-config-manager \ --add-repo \ https://download.docker.
阅读全文
摘要：主要针对大规模数据，对 tfrecord 进行切片，以及使用多进程加速数据处理 quick start 多进程分片写入 tfrecord 读取 def feature_transform(file): …… # 写入 tfrecord def serialize_example(sha256, da
阅读全文
摘要：环境： python3.6 tensorflow2.6.0 使用 tf.saved_model.load 加载模型错误 AttributeError: '_UserObject' object has no attribute 'add_slot' 解决方案1： 升级到 tensorflow 2.7
阅读全文
摘要：常量 进行忽略大小写匹配 re.IGNORECASE 让 \w, \W, \b, \B, \d, \D, \s 和 \S 只匹配ASCII，而不是Unicode re.ASCII DOT表示.，ALL表示所有，连起来就是.匹配所有，包括换行符\n。默认模式下.是不能匹配行符\n的 re.DOTALL
阅读全文
摘要：查看当前目录下的文件数量（不包含子目录中的文件） ls -l|grep "^-"| wc -l 查看当前目录下的文件数量（包含子目录中的文件） 注意：R，代表子目录 ls -lR|grep "^-"| wc -l 查看当前目录下的文件夹目录个数（不包含子目录中的目录），同上述理，如果需要查看子目录的
阅读全文
摘要：git多账户设置： ssh-keygen -t rsa -C "user1@email.com" 登录Gitee，进入【Settings】-【SSH and GPG keys】 测试该用户的SSH密钥是否生效: ssh -T git@gitee.com 另一个账户基本相同 在.ssh目录下创建一个c
阅读全文
摘要：如果要获取数据并分析，例如用for循环,那只能按顺序读取，这样就会造成效率低下： 循环读取多文件过慢，本文分别使用多线程、多进程方法对文件进行读取 多线程 由于处理完文件往往需要获取返回值，可以使用以下两种方法： import queue q = queue.Queue() def read_fil
阅读全文
摘要：Shell #!/bin/bash echo "Hello World !" print "%-10s\n" "Hello World !" 执行脚本 chmod +x ./test.sh #使脚本具有执行权限 ./test.sh #执行脚本 变量引用 your_name="qinjx" echo
阅读全文
摘要：为什么 list(range) 比 [i for i in range()] 快? t0 = time.time() list(range(100000)) print(time.time()-t0) >>> 0.00400090217590332 t0 = time.time() [i for i
阅读全文
摘要：今天在创建嵌套列表时遇到一个问题，决定看看到底是谁在背后捣鬼 没错，看起来两种方法都可以创建嵌套列表，但是赋值的时候却出现了问题 查阅资料，发现这是 board2 列表内的 3 个引用指向同一个对象的原因。作为一只菜鸟，仍然不解其意，又看到了下面的例子 board3 和 board1 是一样的，每次
阅读全文