Reptile 于2018年由 OpenAI 提出，是一种非常简单而有效的基于优化的（Optimized-based）小样本学习方法，通过多步梯度下降来学习一个较优的模型初始参数。 1. Reptile 1.1. 算法 1.2. 数学分析 1.3. 梯度的泰勒展开的领头阶 1.4. 另一种推导方式 1.5....
SIRLIS
取消
元学习文章阅读（Reptile）
LaTeX+TexStudio环境配置
LaTeX 是一种高质量的排版系统，被广泛的期刊杂志所支持，让笔者仅需要关注内容本身，而无需过多的为格式和排版而费心，具备高质量的表格、公式书写体验。 1. LaTeX简介 2. 下载和安装MiKTeX 3. 下载和安装TeXstudio 3.1. 下载和安装 3.2. 配置 3.3. 测试 4. La...
元学习文章阅读（MAML）
MAML 是2017年 Chelsea Finn 大佬提出的一种基于优化（Optimized-based）的小样本学习方法，核心在两个不同的数据集中分别计算梯度和更新参数。 1. MAML 1.1. 算法 1.2. 梯度下降数学分析 1.3. 基于优化的元学习目标 1.4. MAML数学分析 1.5. FO...
元学习基础
小样本学习（Few-Shot Learning）问题是一个新兴的机器学习问题，旨在研究当样本个数严重不足时，如何训练一个模型，能够快速的完成学习（分类、回归、强化学习等）任务。进一步引入元学习的思想来解决小样本学习问题。 1. 小样本学习问题 2. 元学习方法 3. 训练过程 3.1. 深度学习的训练过程 3.2. 元学习的训练过程 ...
深度学习基础（PyTorch的数据集）
本文介绍了 Pytorch 中针对计算机视觉方面的基本数据库类Dataset，基本的手写数字数据库MNIST，以及数据库加载函数 DataLoader。 1. torchvision 2. Dataset 2.1. 默认类 2.2. 自定义类 3. DataLoader 4. MNIST 5. 参考文献 1...
深度学习基础（PyTorch的CNN组成）
本文介绍了深度学习中，卷积网络的基本知识，包括2d卷积层、池化层、线性层、softmax 激活函数、交叉熵损失函数等，并结合它们在 Pytorch 中的定义和实现进行说明。 1. 层 1.1. Conv2d 1.1.1. dilation 1.1.2. padding ...
Python基础（万恶的下划线）
本文介绍了 Python 一些基本的小知识，如 name = ‘main’、init、super 等等。 1. 模拟的应用程序入口 2. 实例属性初使化 3. 继承自父类的属性初始化 4. 参考文献 1. 模拟的应用程序入口 if __name__ == '__main__' 为 python 提供模拟的应用程序入口。它的功能为：当.py文件被直接运行时，i...
深度学习基础（基本超参数和优化器）
本文介绍了深度学习中的基本概念，包括 batch、epoch、iteration、optimizer等，其中优化器包括 BGD、SGD、Adam等，为后深度学习提供基础。 1. 基本超参数 1.1. epoch 1.2. batch \& batch_size 1.3. iteration 2. 优化器...
日常tips手册（Typora标题自动编号）
本文介绍了如何在 Markdown 编辑器 Typora 中自动为标题添加编号，包括正文标题自动编号、目录自动编号、侧边栏自动编号。 1. 正文标题自动编号 2. 目录自动编号 3. 侧边栏自动编号 4. 参考文献 1. 正文标题自动编号 根据官方文档（http://support.typora.io/Auto-Numbering/），首先打开Typora，...
精度损失和抖颤
本文介绍了 OpenGL 中因渲染巨型尺度场景时出现的精度损失问题，以及随之而来的抖颤现象，深入分析了问题产生的原因，并最终给出了解决相对中心的渲染和相对视角的渲染解决方案。 1. 抖颤 2. 相对于中心的渲染 3. 相对于视角的渲染 4. 参考文献 1. 抖颤 使用OpenGL和Direct3D等图形api，图形处理单元（GPU）在内部采用单精度（32位）...