随笔分类 - Python
摘要：写了一个计算距离的脚本，常见距离基本都有。 其中测地距离需要依赖曲面，Hausdorff距离之前有实现，而Wasserstei距离可以用sinkhorn方法求解。 代码如下： import numpy as np def Euclidean(a,b): return np.sqrt(np.sum((
阅读全文
摘要：DQN是强化学习中的一种方法，是对Q-Learning的扩展。 通过引入深度神经网络、经验回放和目标网络等技术，使得Q-Learning算法能够在高维、连续的状态空间中应用，解决了传统Q-Learning方法在这些场景下的局限性。 Q-Learning可以见之前的文章。 算法的几个关键点： 1. 深
阅读全文
摘要：之前有实现Q-Learning走迷宫，本篇实现SARSA走迷宫。 Q-Learning是一种off-policy算法，当前步采取的决策action不直接作用于环境生成下一次state，而是选择最优的奖励来更新Q表。 更新公式： SARSA是一种on-policy算法，当前步采取的策略action既直
阅读全文
摘要：如果想做基于图像cnn的深度强化学习，需要拿到gym的截图，下面是两种截图方法。 1. 利用render结果生成图像： import gym import warnings import os from PIL import Image warnings.filterwarnings("ignore
阅读全文
摘要：上一篇配置成功gym环境后，就可以利用该环境做强化学习仿真了。 这里首先用之前学习过的qlearning来处理CartPole-v1模型。 CartPole-v1是一个倒立摆模型，目标是通过左右移动滑块保证倒立杆能够尽可能长时间倒立，最长步骤为500步。 模型控制量是左0、右1两个。 模型状态量为下
阅读全文
摘要：gym是python中的一个强化学习环境，想要完整配置并跑起来坑还是比较多的。 下面记录一下Windows完整安装过程，Linux下过程基本类似。 1. 执行pip install gym直接安装的是0.26.2版本，网上常见的代码无法兼容，这里安装0.25.2版，并且安装对应的pygame。 执行
阅读全文
摘要：主要用了两个库：pipdeptree和pyecharts。 pipdeptree用来解析所有库的依赖关系。 pyecharts用来显示依赖的网络关系。 通常的方法应该是通过输入下面命令： pipdeptree --json-tree > pkg.json 得到关系树文件，然后解析该文件并在pyech
阅读全文
摘要：Q-Learning是一种基于值函数的强化学习算法，这里用该算法解决走迷宫问题。 算法步骤如下： 1. 初始化 Q 表：每个表格对应状态动作的 Q 值。这里就是一个H*W*4的表，4代表上下左右四个动作。 2. 选择动作： 根据 Q 表格选择最优动作或者以一定概率随机选择动作。 3. 执行动作，得到
阅读全文
摘要：首先来Miniconda — miniconda documentation这个网站安装miniconda。 下面是一些常用的命令。 1. 安装完成之后，conda命令有时候不识别，需要init一下。 ~/miniconda3/bin/conda init bash ~/miniconda3/bin
阅读全文
摘要：用pip install xxx安装库时有时候会遇到下面提示： To fix this you could try to: 1. loosen the range of package versions you've specified 2. remove package versions to a
阅读全文
摘要：运行时忽略掉警告： import warnings warnings.filterwarnings("ignore")
阅读全文
摘要：python安装库比较多的时候，创建虚拟环境方便管理。 安装： sudo apt install python3-venv 创建： python3 -m venv env 激活： source ./env/bin/activate 退出： deactivate
阅读全文
摘要：首先需要配置一下键盘，像下面的配置就好： 然后python代码如下： import mido import time from pymouse import PyMouse from pykeyboard import PyKeyboard dic = {'60': 'a', '61': '1',
阅读全文
摘要：问题如下： 用python模拟鼠标点击其他程序内部按钮时失效，无论使用的库是pymouse，pyautogui还是pydirectinput均没有效果。 但是点击桌面图标或者chrome是可以的。 解决方法有两个： 1. 使用管理员身份运行脚本。 2. 可以试试下面代码： import win32a
阅读全文
摘要：python中利用selenium调用Chrome浏览器做代理模式访问的时候，发现设置 options.add_argument('--proxy-server=http://XXX.XXX.XXX.XXX:XX') 这句话并没什么作用。 下面给出一个我这里测试能正常使用的例子： from sele
阅读全文
摘要：python没有原生goto语句，需要安装第三方库。 安装： pip3 install goto-statement 示例： @with_goto def get_response(i): label .begin print(i) site = "XXX" r = urllib.request.R
阅读全文
摘要：想自动下载一些网页，写了个简单的爬虫，但是碰到了503问题。 代码是下面这个样子： site = "http://XXXX" local_filename, headers = urllib.request.urlretrieve(site) html = open(local_filename,
阅读全文
摘要：win7 sp1 + vs2019环境下执行pip install 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'报出 cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp” 错误。
阅读全文
摘要：keras生成的网络结构如下图： 代码如下： 拟合结果：
阅读全文
摘要：原始论文中的网络结构如下图： keras生成的网络结构如下图： 代码如下： 50次迭代，识别率在97%左右： 相关测试数据可以在这里下载到。
阅读全文
