深度学习文章阅读（learn2learn）
本文介绍了用梯度下降的方法学会了梯度下降的学习方法，用 LSTM 代替传统人设计的诸如RMSprop、ADAM 等优化方法去学习出一个针对特定任务的优化器。 1. 简介 1.1. 迁移学习和泛化 1.2. 相关工作 2. 采用 RNN 实现学会学习 2.1. 问题框架 2.2. coord...
SIRLIS
深度学习文章阅读（BERT）
本文介绍了谷歌提出的 BERT 框架，基于 Transformer，在 NLP 领域的 11 个方向大幅刷新了精度，是近年来自残差网络最有突破性的一项技术。 1. 简介 2. 预备知识 2.1. 语言模型 2.1.1. N-gram 2.1.2. NNLM ...
深度学习文章阅读（Transformer）
本文主要介绍 seq2seq learning 中的 Transformer 模型，由谷歌提出。建议前序阅读 Encoder-Decoder。 1. 简介 2. 总体结构 3. Encoder 3.1. input 3.2. positional encoding 3.3. multi-head attention ...
科研Tips（数学符号）
本文列举了常用数学符号以供平时查询，包括希腊字母、二元关系符、二元运算符。 1. 帽子和鞋子 2. 空格 3. 希腊字母 4. 二元关系符 5. 二元运算符 6. 大尺寸运算符 7. 箭头 8. 其它符号 9. 矩阵 1. 帽子和鞋子 命令 效果 ...
科研Tips（颜色码表）
本文列举了常用颜色码表以供平时查询，包括rgb编码，16进制编码。 1. 颜色码表 颜色名十六进制RGBAliceBlue#F0F8FFrgb(240, 248, 255)AntiqueWhite#FAEBD7rgb(250, 235, 215)Aqua#00FFFFrgb(0, 255, 255)Aquamarine#7FFFD4rgb(127, 255, 212)Azure#...
深度学习文章阅读（Fuzzy-LSTM）
本文介绍了 将 Fuzzy 和 LSTM 结合用于二维平面行动轨迹预测的方法，由 Mingxiao Li 于 2020 年提出，提高预测精度，有效学习周期性时空规律。 1. 引言 2. 问题描述 3. 方法 3.1. 模糊轨迹生成 3.1.1. 模糊空间分割 3.1.2. 模糊轨迹计算 ...
日常tips手册（Rime输入法）
本文记录个人科研生活中的各种小tips和遇到的问题及其解决方案，留作提醒查阅。 1. 下载安装 2. 方案配置 3. 基础配置 4. 皮肤设置 5. 一些额外的自定义配置 5.1. 更改切换输入方案快捷键 5.2. 更换输入方案 5.3. 中英文shift切换和英文直接上屏 5.4. 希腊/数学/特殊符...
深度学习基础（概率与统计）
本文主要介绍概率与统计的相关知识，包括概率的基本概念，似然函数，全概率，条件概率，贝叶斯公式，信息熵等概念的介绍。 1. 基本概念 1.1. 概率定义 1.2. 随机变量 1.3. 概率分布与概率密度 1.4. 概率和统计 1.5. 概率函数与似然函数 1.6. 极大似然估计 ...
深度学习基础（Encoder-Decoder）
本文主要介绍自然语言处理（Natural Language Process，NLP）的基础，然后介绍 Encoder-Decoder（编码-解码）框架和 Attention 机制。 1. NLP 介绍 1.1. 文本表示 1.2. 训练思想 2. Encoder-Decoder 2.1. RNN E-...
PyTorch基础（张量）
本文主要记录自己学习 PyTorch 过程中涉及的一些基础知识。 1. 张量维度 1.1. shape 属性 1.2. size() 成员函数 2. 张量比较 2.1. max 3. 参考文献 1. 张量维度 1.1. shape 属性 输入 import torch #...