PyTorch基础（随机数种子）
本文主要记录自己学习 PyTorch 过程中涉及的一些基础知识。 1. 随机数 1.1. 随机数产生 1.2. 随机数种子 2. 参考文献 1. 随机数 1.1. 随机数产生 随机数广泛应用在科学研究，但是计算机无法产生真正的随机数，一般成为伪随机数。它的产生过程：给定一个随机种子（一般是一个正整数），根据随机算法...
SIRLIS
深度学习文章阅读（深度流体可视化）
本文介绍了 2020 年 Raissi 等发表在 Science 上的一种根据流体可视化结果来学习速度和压力场的方法，称为隐流体力学（hidden fluid mechanics）。 1. 引言 1.1. 网络框架 1.2. 损失函数 1.3. 仿真 1.3.1. 圆柱体遮挡的外部流动 ...
深度学习文章阅读（广义TS模糊系统）
本文介绍了 2001 年 Taniguchi 等提出的一种广义 TS 模糊系统的建模方法、规则约减和鲁棒控制方法。 1. 引言 2. 传统 TS 模糊系统 3. 广义 TS 模糊系统 3.1. 建模 3.1.1. 系统建模 3.1.2. 模糊化表示 3.1.3. 举例 ...
深度学习文章阅读（模糊注意力轨迹预测）
本文介绍了 2020 年 NIPS 上的一篇关于模糊注意力轨迹预测的文章，但是被骗啦（我大意了）。其实和 Fuzzy 并没有什么关系，反而是用的 Attention 机制。 1. 引言 1.1. 归纳偏置 2. 结构 2.1. 预测架构 2.2. 交互模块 2.3. 模糊查询注意力模块 ...
深度学习文章阅读（TS深度模糊网络）
本文介绍了 TS 深度模糊网络（TS Deep Fuzzy Network, TSDFN），于 2017 年提出，基于 TS 模糊系统组成三层网络，并推导了反向传播的梯度。 1. 网络结构 2. 网络参数辨识 2.1. 前向传播 2.2. 反向传播 3. 实验 3.1. 准备工作 3....
深度学习文章阅读（TS模糊系统）
本文介绍了 TS 型模糊系统，由 Takagi 和 Sugeno 两位学者在 1985 年提出，主要思想是将非线性系统用许多线段相近的表示出来，即将复杂的非线性问题转化为在不同小线段上的问题。 1. TS 模糊系统 1.1. 推理过程 1.2. 特性 1.3. 辨识算法 1.3.1. 结论参数...
深度学习文章阅读（learn2learn）
本文介绍了用梯度下降的方法学会了梯度下降的学习方法，用 LSTM 代替传统人设计的诸如RMSprop、ADAM 等优化方法去学习出一个针对特定任务的优化器。 1. 简介 1.1. 迁移学习和泛化 1.2. 相关工作 2. 采用 RNN 实现学会学习 2.1. 问题框架 2.2. coord...
深度学习文章阅读（BERT）
本文介绍了谷歌提出的 BERT 框架，基于 Transformer，在 NLP 领域的 11 个方向大幅刷新了精度，是近年来自残差网络最有突破性的一项技术。 1. 简介 2. 预备知识 2.1. 语言模型 2.1.1. N-gram 2.1.2. NNLM ...
深度学习文章阅读（Transformer）
本文主要介绍 seq2seq learning 中的 Transformer 模型，由谷歌提出。建议前序阅读 Encoder-Decoder。 1. 简介 2. 总体结构 3. Encoder 3.1. input 3.2. positional encoding 3.3. multi-head attention ...
科研Tips（数学符号）
本文列举了常用数学符号以供平时查询，包括希腊字母、二元关系符、二元运算符。 1. 帽子和鞋子 2. 空格 3. 希腊字母 4. 二元关系符 5. 二元运算符 6. 大尺寸运算符 7. 箭头 8. 其它符号 9. 矩阵 1. 帽子和鞋子 命令 效果 ...