人工智能日记

深度学习篇

• 距离计算
  • 1. 常见的距离计算方式
  • 2. 常见的相似度函数
• 注意力机制
  • 注意力机制是什么
  • 经典注意力机制
  • 注意力机制的一些变体
  • 自注意力机制

序列模型篇

• 循环神经网络RNN
  • 1. 循环神经网络RNN是什么
  • 2. RNN的公式推导
  • 3. RNN的缺陷
  • 4. RNN的几种常见模式
• 长短时记忆网络LSTM
  • 1. LSTM的设计思路
  • 2. LSTM是怎样工作的
  • 3. 从公式层面理解LSTM
  • 4. 使用LSTM设计情感分析任务
• 门控循环单元网络GRU
  • 1.更新门
  • 2.重置门
  • 3. 当前记忆内容
  • 4. 当前时间步的最终记忆
  • 参考文献

预训练模型篇

• 预训练模型是什么
• SpanBERT
  • 1. SpanBERT的技术改进点
  • 2. BERT模型中的预训练任务
  • 3. SpanBERT的预训练任务
  • 4. 相关资料
• RoBERTa
  • 1. Dynamic Masking
  • 2. Full-Sentences without NSP
  • 3. Larger Batch Size
  • 4. Byte-Level BPE
  • 5. More Data and More Training Steps
  • 6. 相关资料
• SKEP
  • 1. SKEP的设计思路
  • 2. SKEP的实现概况
  • 3. 无监督情感知识挖掘
  • 4. Sentiment Masking
  • 5. Sentiment Pre-training Objectives
  • 6. 相关资料
• ERNIE
  • 1. ERINE是什么
  • 2. Knowledge Masking Task
• ERNIE3
  • 1. ERNIE 3.0的设计思路
  • 2. ERNIE 3.0的模型结构
  • 3. 不同类型的预训练任务
  • 4. 相关资料
• ERNIE-Gram
  • 1. ERNIE-Gram的由来
  • 2. ERNIE和N-Gram的融入方式
  • 3. 使用生成器显式建模N-gram Relation
  • 4. 相关资料
• KBERT
  • 1. KBERT的由来
  • 2. KBERT的模型结构
  • 3. 相关资料
• THU-ERNIE
  • 1. THU-ERNIE的由来
  • 2. THU-ERNIE的模型结构
  • 3. K-Encoder融合文本信息和KG知识
  • 4. THU-ERNIE的预训练任务
  • 6. 参考资料
• Transformer-XL
  • 1. Transformer-XL的由来
  • 2. Transformer-XL 建模更长序列
  • 3. 相关资料
• XLNet
  • 1. 从AR和AE模型到XLNet模型
  • 2. Permutation Language Model
  • 3. Permutation Language Model如何建模
  • 4. 相关资料
• Longformer
  • 1. Longformer的由来
  • 2. Longformer提出的Self-Attention
  • 3. Longformer Attention的实现
  • 4. 相关资料
• ERNIE-Doc
  • 1. ERNIE-Doc的由来
  • 2. 经典/Recurrence Transformer的计算
  • 3. Retrospective feed mechanism
  • 4. Enhanced Recurrence Mechanism
  • 5. Segment-Reordering Objective
  • 6. 相关资料

自然语言处理篇

• 词向量
  • One-Hot编码: 一种简单的单词表示方式
  • Word Embedding: 一种分布式单词表示方式
  • Word2Vec: 一种词向量的训练方法
  • 关于词向量的一些有趣应用
• 命名实体识别
  • 命名实体识别是什么
  • 一文读懂BiLSTM+CRF实现命名实体识别
  • Lattice Lstm