摘要：
目录准备拆机准备刷回开始刷入breed参考资料 去年手贱不小心把RM2100刷成钛星人固件，想要刷回来找不到方法，趁着这段时间回家又折腾了一下 准备 工具：杜邦线、电烙铁（非必须，有金属探针也行）、锡线、TTL转接板（个人使用的是CH340G模块）、网线 软件：串口调试助手（微软商店搜得到，可以下载 阅读全文
摘要：
论文：DEEP BATCH ACTIVE LEARNING BY DIVERSE, UNCERTAIN GRADIENT LOWER BOUNDS 目录NOTATION AND SETTINGALGORITHMThe gradient embeddingThe sampling stepExampl 阅读全文
摘要：
论文：Active Learning for Open-set Annotation 目录The OSA Problem SettingAlgorithm DetailDetector trainingActive samplingClassifier training 现有的主动学习研究通常在封闭 阅读全文
摘要：
论文：Active Learning by Feature Mixing 目录问题定义(Problem Definition)特征混合 (Feature Mixing)优化插值参数 \(\pmb \alpha\)(Optimising the Interpolation Parameter \(\p 阅读全文
摘要：
推荐的架构包括一个深度特征提取器（绿色）和一个深度标签预测器（蓝色），它们共同构成一个标准的前馈架构。无监督的领域适应是通过添加一个领域分类器（红色）来实现的，该分类器通过一个梯度反转层与特征提取器相连，在基于反向传播的训练过程中，梯度乘以某个负常数。否则，训练将以标准方式进行，并使标签预测损失（对 阅读全文
摘要：
学习笔记-2022.03.01 内容：阅读论文分享：HyperDQN: A Randomized Exploration for Deep RL Introduction 强化学习的一个难题是与环境交互时的样本效率 好的探索策略可以减小样本复杂度。一个好的探索策略要不断尝试那些未知的/不确定的动作； 阅读全文
摘要：
学习日志-2021.11.08 其他Q-Learning SA-Q-learning 为了平衡Q-learning的探索与利用，基于Metropolis准则提出的算法 算法描述 初始化Q表 对每一轮次（episode）： 随机选择或初始化一个状态 \(s_t\) 对于每一步（step）： 从动作空间 阅读全文
摘要：
论文阅读-2021.11.06 Backward Q-learning: The combination of Sarsa algorithm and Q-learning 自适应Q-learning 算法描述 初始化Q表，设置 \(TH_P、TH_N、C、β和k\) 循环（轮次episode）： 阅读全文
摘要：
学习日志-2021.10.25 由于昨天仿真实验没有观察到曲线上升的过程，在昨晚睡前将博弈轮数设置为50000次，困境强度 \((DS)\) 为0.02，Q-Learning智能体占比约为0.1 \((\frac{1018}{10000})\) ，截止到第二天中午十二点，已经完成约25000轮次，重 阅读全文
摘要：
学习日志-2021.10.24 硕士论文第二部分复现 复杂网络上的合作行为演化研究 ——基于 Q-learning 算法 源码地址:RL_for_Gaming_to_choose_action(Q-Learning) 在相同智能体比例，不同困境强度下的演化： 合作率演化图： 从左至右困境强度 $(D 阅读全文
摘要：
学习日志-2021.10.18 硕士论文复现--选择学习对象 论文内容是在 200×200 的边界循环网络下，实际情况下会占用大量的计算资源，导致计算时间较长，在复现时为减少时间消耗，改为 100×100 的边界循环网络。 源码地址 复现目标 使用Q-Learning算法，探究学习对象的选择对网络演 阅读全文
摘要：
学习日志-2021.10.13 记录一下项目 地址 参考之前运行的项目，将算法运用到这个游戏中。 项目描述 红色代表小鸟 黑色方块组成柱子 状态表示：以柱子缺口底部右侧的黑色方块为坐标原点，与当前小鸟坐标的差值 \((Δx,Δy)\) 表示一个状态。 行为 飞一下：小鸟向上移动一格 什么也不做：往下 阅读全文
摘要：
学习日志-2021.10.11 复习一下机器学习书本第四章内容 决策树 基本算法 这是一个递归的过程，有三种情况会导致递归返回： 当前节点包含的样本全属于同一类别，无需划分 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分 当前结点包含的样本集合为空，不能划分 输入:训练集 \(D = \ 阅读全文
摘要：
学习日志-2021.10.09 今日主要内容： 成功运行两个sarsa算法相关的项目(用于路径规划)： 项目地址 每轮迭代：Agent走到障碍物上或到达目标。 RL_Sarsa_E1(小地图)： 迭代1000轮后，自己寻找路径的结果 RL_Sarsa_E2(大地图)： 跑了快一个小时。。。。（迭代6 阅读全文
摘要：
学习日志-2021.10.04 博弈论与多智能体强化学习（续） 文献阅读： 学习自动机强化方案 学习自动机是相对简单的策略迭代器，在动作集a上保持向量动作概率p。这些概率根据从环境接收到的反馈进行更新。 这种方案最初的研究主要集中在n-臂赌博机（n-armed bandit）环境中的单个自动机。 最 阅读全文
摘要：
学习日志-2021.10.02 文献阅读： 博弈论与多智能体强化学习 重点讨论强化学习技术在多智能体系统中的应用。 描述了一个基于对博弈论的经济研究的基本学习框架，并说明了在这种系统中出现的额外复杂性，以及分析学习结果的工具。 Introduction 多智能体博弈标准模型 系统是分散的。因为需要满 阅读全文
摘要：
学习日志-2021.09.27 论文阅读： 复杂网络上的合作行为演化研究 ——基于 Q-learning 算法 引言 研究背景 演化博弈论：理解合作行为如何在自私个体当中涌现和维持。 博弈个体是有限理性的。不能通过一次选择就可以实现策略均衡，而是需要不断地进行策略学习及调整。 在符合条件的困境模型背 阅读全文
摘要：
学习日志-2021.09.25 今日进展（笔记） Q-learning（基于值的算法） 使用了时间差分法（融合了蒙特卡洛和动态规划）能够进行off-policy的学习 算法描述: 初始化 Q = {} while Q 未收敛: 初始化状态S，开始新一轮的游戏 while S!=结束: 使用策略$π$ 阅读全文
摘要：
学习日志-2021.09.19 今日进展 查看论文第一章内容 了解复杂网络的一些基本概念、生成方法、常用的复杂网络模型等。 了解博弈论基本概念和常用模型。 通过查询了解纳什均衡（指网络中在其他结点不改变策略的情况下，任何一个结点改变自己的决策后将不会获得更多的收益）。 了解复制子方程。 学习西瓜书内 阅读全文
摘要：
学习日志-2021.09.18 今日工作 阅读论文 History loyalty-based reward promotes cooperation in the spatial public goods game。 文章主要讲述基于历史忠诚奖励机制的公共物品博弈。 文章中使用的网络是方格网络（左 阅读全文
摘要：
目录（1）每个人各自写出（2）系统烧录和备份（3）访问树莓派(局域网+公网)ssh访问vnc访问（4）接入摄像头（5）记录遇到的问题和解决方法，提供小组成员名单以及在线协作的图片 （1）每个人各自写出 杨世杰 此前认识程度：时常可以在某些3C论坛上看到树莓派的开箱使用，因此还是有些好奇。 了解资料后 阅读全文
摘要：
第5次实践作业 环境安装 目录结构 配置文件 Dockerfile 制作镜像 docker build t my_python . 代码实现 helloworld.py docker run it rm name my running script v /home/silentsamsara/Des 阅读全文
摘要：
第4次实践作业 （1）使用Docker compose实现Tomcat+Nginx负载均衡 nginx反向代理原理 反向代理，其实客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，我们只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理 阅读全文
摘要：
第3次实践作业 1、安装compose 从 Github 上下载它的二进制包来使用，最新发行的版本地址:https://github.com/docker/compose/releases。 运行以下命令以下载 Docker Compose 的当前稳定版本： sudo curl L "https:/ 阅读全文
摘要：
第2次实践作业 实现一个自定义的web容器服务 1、从Docker仓库拉取nginx作为基础镜像 sudo dokcer pull nginx 查看镜像： sudo docker images 2、创建一个容器并运行 sudo docker run id nginx /bin/bash 3、更改ng 阅读全文
摘要：
(1) 课程调查 感觉这门课程可能有点类似于软件工程实践 需要团队协作，经历一个完整的开发过程。 需要自主学习课外相关知识。 (2) 了解微服务 微服务是什么？ 微服务是一个新兴的软件架构，就是把一个大型的单个应用程序和服务拆分为数十个的支持微服务。一个微服务的策略可以让工作变得更为简便，它可扩展单 阅读全文
摘要：
1.根据 "P4教程" ，将 basic 和 basic_tunnel 两个案例程序补充完整，成功运行 补充后的basic代码如下： 输入以下指令运行: make run 测试①： h1 ping h2 测试②： pingall 2.补充并运行支持基本隧道协议的basic_tunnel代码 补充后的 阅读全文
摘要：
2019 SDN上机第6次作业 1.实验拓扑 实验拓扑 python代码： 运行： sudo mn custom mytopo.py topo mytopo controller=remote,ip=127.0.0.1,port=6633 switch ovsk,protocols=OpenFlow 阅读全文
摘要：
2019 SDN上机第5次作业 1.浏览RYU官网学习RYU控制器的安装和RYU开发入门教程，提交你对于教程代码的理解，包括但不限于： 描述官方教程实现了一个什么样的交换机功能？ 该应用程序使用OFPP_FLOOD标志来指示应在所有端口上发送数据包。 控制器设定交换机支持什么版本的OpenFlow？ 阅读全文
摘要：
SDN课程阅读作业（2） 阅读文章《The Road to SDN: An Intellectual History of Programmable Networks》，并根据所阅读的文章，书写一篇博客，回答以下两个问题： 1、 过去20年中可编程网络的发展可以分为几个阶段？每个阶段的贡献是什么？ 阅读全文
摘要：
2019 SDN上机第4次作业 1. 解压安装OpenDayLight控制器 下载完成后，在下在目录打开终端执行以下指令解压： tar zxvf distribution karaf 0.4.4 Beryllium SR4.tar.gz 启动之前需要预先配置java环境， "参考链接" 我电脑上的U 阅读全文
摘要：
2019 SDN阅读作业 1. (1)为什么需要SDN？(2)SDN特点？ (1)随着网络规模的不断扩大,封闭的网络设备内置了过多的复杂协议，增加了运营商定制优化网络的难度，科研人员无法在真实环境中规模部署新协议。同时，互联网流量的快速增长，用户对流量的需求不断扩大，各种新型服务不断出现，增加了网络 阅读全文
摘要：
2019 SDN上机第3次作业 1. 利用Mininet仿真平台构建如下图所示的网络拓扑，配置主机h1和h2的IP地址（h1:10.0.0.1，h2:10.0.0.2），测试两台主机之间的网络连通性 miniedit.py设置 start CLI 支持OpenFlow 1.0 1.1 1.2 1.3 阅读全文
摘要：
2019 SDN上机第2次作业 1. 利用mininet创建如下拓扑，要求拓扑支持OpenFlow 1.3协议，主机名、交换机名以及端口对应正确，请给出拓扑Mininet执行结果，展示端口连接情况 python代码编写拓扑的代码： 终端执行指令： sudo mn custom ./second.py 阅读全文
摘要：
2019 SDN上机第1次作业 1. 安装轻量级网络仿真工具Mininet 安装过程如下图： 安转完成后进行测试，可能会提示缺少ifconfig而无法完成测试，需要安装net tools,在终端输入以下指令 sudo apt get install net tools 安装完成即可通过测试. 2. 阅读全文
摘要：
1、GitHub地址： https://github.com/SilentSamsara/031702625.git 2、预计PSP表格 |PSP2.1 |Personal Software Process Stages| 预估耗时（分钟） | | | | |Planning |计划 |30 |· 阅读全文