摘要：
本篇博客附有系列内所有博客的链接，会随着课程的进行更新。 阅读全文
摘要：
本文成文于11月底，openai devday之后 背景：OpenAI最近放出了Devday的闭门会视频，其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的，本文对这次分享做摘要。 视频： 阅读全文
摘要：
面向大模型的全参数finetune 需要很高的计算消耗和存储成本，学界开始探索参数高效的微调方法。LoRA就是其中的代表，他在原始的Transformer模型上插入少量的参数，只训练增量的参数就能达到与全参数finetune相同/更优的效果 阅读全文
摘要：
核心宗旨：基于ResNet-50的结构，参考Swin-Transformer的思想进行现代化改造，直到卷积模型超过trans-based方法的SOTA效果。
启发性结论：架构的优劣差异没有想象中的大，在同样的FLOPs下，不同的模型的性能是接近的。
意义：这篇文章可以作为很好的索引，将一些从卷积网络演进过程中的重要成果收录，适合新手。 阅读全文
摘要：
论文题目：Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA 论文链接：https://dl.acm.org/doi/abs/10.1145/3474085.3475606 一、任务概述 视觉问答 阅读全文
摘要：
2021年是很值得纪念的一年，从上半年开始跟随导师编写有关华为昇腾软件栈CANN的教材，一年的时间反复迭代 终于快要出版了。 这一系列博客可以视作我从编者的角度，重新梳理的全书思路。明年入职商汤之后要做国产化相关的工作，还是要跟华为昇腾打交道，把脑中的知识记录下来以备将来使用。 打开昇腾的官网，就能 阅读全文
摘要：
我在2021年3月份来到了字节跳动的火山引擎部门，担任智能美化特效CVsdk的产品实习生。这段实习中认识了很棒的mentor，很可爱的同事，这是一段很快乐的时光！ 实习结束了，我也来到了新的公司。总想为上半年留下点什么，正好碰到朋友约稿写一写AI落地的小行业，就动笔写了这篇博文，经过改编后将会发到朋 阅读全文
摘要：
Github: https://github.com/IntuitionMachines/OrigamiNet 论文链接：https://arxiv.org/abs/2006.07491 Introduction 任务特点：篇章文本识别，文本识别与文本分割相耦合 相关工作： 基于分割/无需分割方法， 阅读全文
摘要：
本系列博客内容均进行了脱敏处理，对于典型问题的相关处理经验可供其他开发者参考 项目背景介绍 为了满足当今飞速发展的深度神经网络对芯片算力的需求，华为公司于2018年推出了昇腾系列AI处理器，这一系列芯片的算力担当是使用达芬奇架构的AI Core，它能够对INT8 INT4 FP16进行高性能的计算。 阅读全文
摘要：
论文原文、翻译稿、PPt：https://1drv.ms/u/s!Ak-jGl23kTuMimOZzV-MyLQUYmsN?e=DL1xHD 阅读全文
摘要：
pathlib 对象化路径管理，配合动态库解决import依赖 当import导入模块式，默认情况下python解析器遍历存放在sys.path中的搜索路径，在写代码时可以使用动态引用，配合pathlib对象化的管理文件系统路径，如： import os import sys import path 阅读全文
摘要：
本科阶段学了三四遍的HMM，机器学习课，自然语言处理课，中文信息处理课；如今学研究生的自然语言处理，又碰见了这个老熟人； 虽多次碰到，但总觉得一知半解，对其了解不够全面，借着这次的机会，我想要直接搞定这个大名鼎鼎的模型，也省着之后遇到再费心。 Outline 模型引入与背景介绍 从概率图讲起 贝叶斯 阅读全文
摘要：
2020-06-19这篇文章是我学习 软件架构与中间件 课程时分享的论文。可以说，这篇文章塑造了我基本的科研观，也养成了我如今看论文的习惯。感谢老师们，也感谢恒恒对我的帮助。 论文地址： https://ieeexplore.ieee.org/document/8417151 一、 对问题的概述 1 阅读全文
摘要：
懒得转成文字再写一遍了，直接把做过的PPT放出来吧。 论文连接：https://arxiv.org/abs/1804.09003 阅读全文
摘要：
毕设进了图网络的坑，感觉有点难，一点点慢慢学吧，本文方法是《Rethinking Table Recognition using Graph Neural Networks》中关系建模环节中的主要方法。 ## 概述 本文是对经典的PointNet进行改进，主要目标是设计一个可以直接使用点云作为输入的 阅读全文
摘要：
InceptionV1 论文原文：Going deeper with convolutions 中英文对照 InceptionBN 论文原文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Co 阅读全文
摘要：
在前文中，我们介绍了LeNet的相关细节，它是由两个卷积层、两个池化层以及两个全链接层组成。卷积都是5*5的模板，stride =1，池化为MAX。整体来说它有三大特点：局部感受野，权值共享和池化。2012年ALex发布了AlexNet，他比LeNet5更深，而且可以学习更复杂的图像高维特征。接下来 阅读全文
摘要：
转自深度学习知识框架，小象牛逼！ 图片来自小象学院公开课，下面直接解释几条线 神经网络 线性回归 (+ 非线性激励) → 神经网络 有线性映射关系的数据，找到映射关系，非常简单，只能描述简单的映射关系 大部分关系是非线性的，所以改进方法就是加一个非线性激励，某种程度是一个 NORMALIZE，但是是 阅读全文
摘要：
手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。原文地址为Gradient-Based Learning Applied to Document Recognition,感谢网络中各博主的讲解，尤其是该博客，帮助我的理解，感谢。 Model详解 C1 6@28×28 S2 6 阅读全文
摘要：
终于有了2个月的空闲时间，给自己消化沉淀，希望别有太多的杂事打扰。在很多课程中，我都学过卷积、池化、dropout等基本内容，但目前在脑海中还都是零散的概念，缺乏整体性框架，本系列博客就希望进行一定的归纳和梳理，谋求一个更清晰的思路。 ## Outline 卷积 tensorflow-conv 池化 阅读全文
摘要：
本文主要是记录配置tf环境和虚拟机时遇到的问题和方法，方便日后再查找（补前三年欠下的技术债） 宿主机环境：win10 64位 宿主机python： anaconda+python3.6 宿主机tensorflow-gpu：cuda10.1.105 + cudnn 7.6.0 + tensorflow 阅读全文
摘要：
如果一个查询同时涉及两个以上的表，则称之为链接查询，链接查询是关系数据库中最主要的查询，主要包括等值链接查询、非等值链接查询、自身链接查询、外链接查询和复合条件链接查询。 这篇博文我们来对多表链接进行学习。 Outline 链接的基本概念 Oracle自有的链接方法 等值链接 非等值链接 自身链接 阅读全文
摘要：
SQL函数 SQL是用于访问和处理数据库的标准的计算机语言，我们所使用的的是Oracle SQL 一个数据库通常包含一个或多个表，每个表有一个名字表示，下图即为一个名为“emp”的表，接下来的操作都将基于以下的表进行 ## 字符函数 字符函数：主要指参数类型是字符型，不同函数返回值可能是字符型或数值 阅读全文
摘要：
SQL select 及相关操作 SQL是用于访问和处理数据库的标准的计算机语言，我们所使用的的是Oracle SQL 一个数据库通常包含一个或多个表，每个表有一个名字表示，下图即为一个名为“emp”的表，接下来的操作都将基于以下的表进行 SQL select 及相关操作 下述为select语法，注 阅读全文
摘要：
Outline 动态规划原理 编号动态规划：最大不下降子序列 划分动态规划：矩阵链乘、凸多边形三角剖分 数轴动态规划：0-1背包 前缀动态规划：最长公共子序列 树形动态规划：最优二分搜索树 Notes ## 动态规划原理 基本思想：问题的最优解如果可以由子问题的最优解推导得到，则可以先求解子问题的最 阅读全文
摘要：
为了方便阅读和复习，转载至此，原地址：温布利往事的博客 阅读目录 一、Comparable简介 二、Comparator简介 三、Comparable和Comparator区别比较 为了方便阅读和复习，转载至此，原地址：温布利往事的博客 阅读目录 一、Comparable简介 二、Comparato 阅读全文
摘要：
【考点 Equals】 ==是引用等价性 ；而equals()是对象等价性。 == 比较的是索引。更准确的说，它测试的是指向相等（referential equality）。如果两个索引指向同一块存储区域，那它们就是==的。对于我们之前提到过的快照图来说，==就意味着它们的箭头指向同一个对象。 eq 阅读全文
摘要：
设计模式 在课程中，我们陆续学习了全部的24种设计模式，在实验中也用到了工厂模式、抽象工厂模式、策略模式等内容；在课程的考试中，我们也将使用制定的设计模式对代码进行优化，为了更好的理解设计模式，转发本篇斯认为质量较好的博文，希望能对设计模式有更明晰的认识。 转自： 设计模式大杂烩（24种设计模式的总 阅读全文
摘要：
VCS SCM Git的不同工作区域，版本分支、版本图 阅读全文
摘要：
Outline 分治思想和递归表达式 大整数乘法 矩阵乘法的Strassen算法 快速傅里叶变化 基于分治的排序 merge-sort排序 快速排序 排序的下界问题 中位数和顺序统计量 最邻近点对 凸包 merge-sort排序 快速排序 排序的下界问题 Notes ## 分治思想和递归表达式 【分 阅读全文
摘要：
Message passing
进程和线程
线程的创建和启动，runable
时间分片、交错执行、竞争条件
线程的休眠、中断
线程安全的四种策略
约束（Confinement）
不变性
使用线程安全的数据类型
同步与锁
死锁
以注释的形式撰写线程安全策略 阅读全文
摘要：
Java代码调优的设计模式：
singleton, prototype/cloneable,
flyweight, pool
常见的Java I/O方法 阅读全文
摘要：
第八章第二节 动态程序分析方法与工具 Outline Java性能调优工具： jstat jmap jhat Vistual VM MAT Memory dump Stack trace jstat jmap jhat Vistual VM MAT Notes ## Java性能调优工具 Jstat 阅读全文
摘要：
第八章第一节 软件构造性能的度量原理 本章是课程覆盖的第5个质量指标：时空性能 这是大家最熟悉的指标，虽然很重要，但并非软件构造中最重要的指标，当其他指标得以优化之后，再去考虑性能问题。 Outline 性能度量指标 存储性能 内存管理： 对象管理模型：静态、堆、栈 内存管理模型： Java垃圾回收 阅读全文
摘要：
求解递归式的方法 【代入法】 代入法求解分为两步： 猜测解的形式 用数学归纳法求出解的常数C，并证明正确性，关键步骤是用猜测的解代入到递归式中。 做出好的猜测（没有一般方法，只能凭经验） 与见过的解类似，则猜测之。 先证较宽松的上、下界，减小猜测范围。我们可以从下界Ω(n)开始，上界O(n^2)，然 阅读全文
摘要：
第七章第五节 测试与测试优先编程 确保程序正确性/健壮性的最普遍的手段：测试 设计测试用例 用JUnit写测试程序 自动化测试过程 设计测试用例 用JUnit写测试程序 自动化测试过程 Outline 测试和测试优先编程 黑盒测试 等价类划分 边界值分析 代码覆盖度 用注释形式撰写测试策略 JUni 阅读全文
摘要：
第七章第四节 调试 防不胜防的bug引入了代码，如何发现并消除之？ Outline 什么是bug 调试的基本过程 调试的技术与工具 Notes ## 什么是bug bug即程序中的错误，导致程序以非预期或未预料到的方式执行。 一个包含大量bug和/或严重干扰其功能的bug的程序被称为buggy。 报 阅读全文
摘要：
第七章第三节 断言和防御性编程 本节：第2种技术——断言、防御式编程 Outline 断言 什么是断言 断言的应用场景 防御式编程（不是考点，不加叙述） 什么是断言 断言的应用场景 Notes： ## 断言 【什么是断言】 作用：允许程序在运行时检查自己，测试有关程序逻辑的假设，如前置条件、后置条件 阅读全文
摘要：
第七章第二节 错误与异常处理 本节关注：Java中错误和异常处理的典 型技术——把原理落实到代码上！ Outline： Java中的错误和异常（java.lang.throwable） 异常 Runtime异常与其他异常（Exception） Checked异常和unchecked异常 checke 阅读全文
摘要：
第七章第一节 健壮性和正确性的区别 第七章：进入软件构造最关键的质量特性 ——健壮性和正确性。 本节在1-2节的基础上，重申了Robustness and Correctness的重要性，澄清了二者之 间的差异，并指明了在软件构造中处理二 者的典型技术（防御式编程、异常处理、 测试、调试等） Out 阅读全文
摘要：
第六章第三节 面向可维护的构造技术 学了这么多OO设计模式，不外乎都是 delegation + subtying，万变不离其宗。 除了OO，还有什么其他能够提升软件可维护性的构造技术？——本节从委派+子类型跳出来，学习以下三个方面： (1) 基于状态的构造技术 (2) 表驱动的构造技术 (3) 基 阅读全文