本文介绍了 2020 年 NIPS 上的一篇关于模糊注意力轨迹预测的文章，但是被骗啦（我大意了）。其实和 Fuzzy 并没有什么关系，反而是用的 Attention 机制。 1. 引言 1.1. 归纳偏置 2. 结构 2.1. 预测架构 2.2. 交互模块 2.3. 模糊查询注意力模块 ...
SIRLIS
取消
深度学习文章阅读（模糊注意力轨迹预测）
深度学习文章阅读（TS深度模糊网络）
本文介绍了 TS 深度模糊网络（TS Deep Fuzzy Network, TSDFN），于 2017 年提出，基于 TS 模糊系统组成三层网络，并推导了反向传播的梯度。 1. 网络结构 2. 网络参数辨识 2.1. 前向传播 2.2. 反向传播 3. 实验 3.1. 准备工作 3....
深度学习文章阅读（TS模糊系统）
本文介绍了 TS 型模糊系统，由 Takagi 和 Sugeno 两位学者在 1985 年提出，主要思想是将非线性系统用许多线段相近的表示出来，即将复杂的非线性问题转化为在不同小线段上的问题。 1. TS 模糊系统 1.1. 推理过程 1.2. 特性 1.3. 辨识算法 1.3.1. 结论参数...
深度学习文章阅读（learn2learn）
本文介绍了用梯度下降的方法学会了梯度下降的学习方法，用 LSTM 代替传统人设计的诸如RMSprop、ADAM 等优化方法去学习出一个针对特定任务的优化器。 1. 简介 1.1. 迁移学习和泛化 1.2. 相关工作 2. 采用 RNN 实现学会学习 2.1. 问题框架 2.2. coord...
深度学习文章阅读（BERT）
本文介绍了谷歌提出的 BERT 框架，基于 Transformer，在 NLP 领域的 11 个方向大幅刷新了精度，是近年来自残差网络最有突破性的一项技术。 1. 简介 2. 预备知识 2.1. 语言模型 2.1.1. N-gram 2.1.2. NNLM ...
深度学习文章阅读（Transformer）
本文主要介绍 seq2seq learning 中的 Transformer 模型，由谷歌提出。建议前序阅读 Encoder-Decoder。 1. 简介 2. 总体结构 3. Encoder 3.1. input 3.2. positional encoding 3.3. multi-head attention ...
科研Tips（数学符号）
本文列举了常用数学符号以供平时查询，包括希腊字母、二元关系符、二元运算符。 1. 帽子和鞋子 2. 空格 3. 希腊字母 4. 二元关系符 5. 二元运算符 6. 大尺寸运算符 7. 箭头 8. 其它符号 9. 矩阵 1. 帽子和鞋子 命令 效果 ...
科研Tips（颜色码表）
本文列举了常用颜色码表以供平时查询，包括rgb编码，16进制编码。 1. 颜色码表 颜色名十六进制RGBAliceBlue#F0F8FFrgb(240, 248, 255)AntiqueWhite#FAEBD7rgb(250, 235, 215)Aqua#00FFFFrgb(0, 255, 255)Aquamarine#7FFFD4rgb(127, 255, 212)Azure#...
深度学习文章阅读（Fuzzy-LSTM）
本文介绍了 将 Fuzzy 和 LSTM 结合用于二维平面行动轨迹预测的方法，由 Mingxiao Li 于 2020 年提出，提高预测精度，有效学习周期性时空规律。 1. 引言 2. 问题描述 3. 方法 3.1. 模糊轨迹生成 3.1.1. 模糊空间分割 3.1.2. 模糊轨迹计算 ...
日常tips手册（Rime输入法）
本文记录个人科研生活中的各种小tips和遇到的问题及其解决方案，留作提醒查阅。 1. 下载安装 2. 方案配置 3. 基础配置 4. 皮肤设置 5. 一些额外的自定义配置 5.1. 更改切换输入方案快捷键 5.2. 更换输入方案 5.3. 中英文shift切换和英文直接上屏 5.4. 希腊/数学/特殊符...