摘要： 在强化学习（二）马尔科夫决策过程(MDP)中，我们讨论了用马尔科夫假设来简化强化学习模型的复杂度，这一篇我们在马尔科夫假设和贝尔曼方程的基础上讨论使用动态规划(Dynamic Programming, DP)来求解强化学习的问题。动态规划这一篇对应Sutton书的第四章和UCL强化学习课程的第三讲。 阅读全文

摘要： 在《Cortex-M3 Devices Generic User Guide.pdf》中介绍了异常入栈和出栈的情况，详见2.3 Exception model。Cortex-M3内核的寄存器如下。 异常发生时，入栈的寄存器是R0~R3+R12+PC+LR+SP。为啥袒护R0‐R3以及R12呢， R4 阅读全文

摘要： 地球是两极略凹的不规则球体，以太阳为参照分东西，以星辰分南北 阅读全文

摘要： 1、Cortex-M3 的PSP和MSP 曾经在STM32上使用过RT thread和uC/OS，对于任务切换代码一直是一知半解，没有自己手动写出来过，对于任务切换后的ORR LR, LR, #0x04; Ensure exception return uses process stack也不是很理 阅读全文

摘要： 摘抄自Triton.zhang——eeworld 1. MSP和PSP 的含义是Main_Stack_Pointer 和Process_Stack_Pointer,在逻辑地址上他们都是R13 2. 权威手册上说的很清楚PSP主要是在Handler的模式下使用，MSP主要在线程模式下使用（当然你在线程 阅读全文

摘要： 推荐分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！http://www.captainbed.net/strongerhuang 我的网站：https://www.strongerhuang.com 我的知乎：https://www.zhihu 阅读全文

摘要： mkfs.vfat /dev/block/mmcblk0pxxxx 格式化某分区为vfat格式 busybox mkfs.vfat /dev/block/mmcblk0pxxxx mount -t vfat -o ro,uid=0,gid=1000,fmask=0027,dmask=0027 /de 阅读全文

摘要： 在强化学习（一）模型基础中，我们讲到了强化学习模型的8个基本要素。但是仅凭这些要素还是无法使用强化学习来帮助我们解决问题的, 在讲到模型训练前，模型的简化也很重要，这一篇主要就是讲如何利用马尔科夫决策过程(Markov Decision Process，以下简称MDP)来简化强化学习的建模。 MDP 阅读全文

摘要： 从今天开始整理强化学习领域的知识，主要参考的资料是Sutton的强化学习书和UCL强化学习的课程。这个系列大概准备写10到20篇，希望写完后自己的强化学习碎片化知识可以得到融会贯通，也希望可以帮到更多的人，毕竟目前系统的讲解强化学习的中文资料不太多。 第一篇会从强化学习的基本概念讲起，对应Sutto 阅读全文

摘要： 前言 总结一些在博客园使用MathJax写数学公式的经验。 博客园 设置使用数学公式 进入你的博客：管理 > 选项 里面有个启用数学公式支持，选上后保存。这时，你就可以在你的博客里写数学公式了。 美化数学公式 本文中数学公式的显示风格和默认的不同。数学公式的背景色为浅灰；行间数学公式有个灰色框；行间 阅读全文

摘要： 在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识 阅读全文

摘要： Git missing Change-Id in commit message footer解决方法在Git向服务器提交代码时，出现如下错误missing Change-Id in commit message footer1原因：项目仓库.git/hooks目录下，commit-msg文件缺失。解 阅读全文

摘要： CDN有很多，网上都有介绍，用户比较多的CloudFlare CDN大家都知道，配置起来也比较简单，合理的配置，才能提升网站的速度和网站安全。不同的网站需求配置不一样，以下是我的配置情况，仅供参考。 我网站使用的是：云主机+WordPress 访问加速 Speed 选项 Auto Minify：选择 阅读全文

摘要： 1、A记录：WEB服务器的IP指向 A (Address) 记录是用来指定主机名（或域名）对应的IP地址记录。 就是说：通过A记录，大家可以设置自己的不同域名转到不同的IP上去！如： www.dns.la转到IP 116.255.202.1 web.dns.la 转到IP 116.255.202.1 阅读全文

摘要： loudFlare成立于2009年，是国外著名的免费CDN网站加速服务公司，CloudFlare 还提供实时安全保护服务和网络优化等，采用的是免费+增值模式，可以免费使用，也有收费服务。国内也有很多免费好用的CDN，但都是需要网站备案后才能使用，对于没有备案的网站来说可以选择使用国外CDN工具，操作 阅读全文