Deep-learning

动手学深度学习_pytorch_Jupyter + 学习笔记

ch1-数据操作

数据操作

自动求导

神经网络

ch2-线性神经网络

线性回归

线性回归代码实现

线性回归简洁实现

softmax回归

图像分类数据集

softmax回归的从零开始实现

softmax回归的简洁实现

ch3-多层感知机

多层感知机介绍

多层感知机从零开始实现

多层感知机简洁实现

模型选择、过拟合和欠拟合

权重衰减

暂退法

前向传播、反向传播和计算图

数值稳定性和模型初始化

环境和分布偏移

实战kaggle：预测房价

ch4-深度学习计算

层与块

参数管理

自定义层

读写文件

GPU

ch5-卷积神经网络

从全连接层到卷积

图像卷积

填充和步幅

多输入多输出通道

汇聚层

卷积神经网络(LeNet)

ch6-循环神经网络

序列模型

文本预处理

语言模型与数据集

循环神经网络

循环神经网络从零开始

循环神经网络简洁实现

通过时间反向传播

ch7-现代循环神经网络

门控循环单元（GRU）

长短期记忆网络（LSTM）

深度循环神经网络

双向循环神经网络

机器翻译与数据集

编码器-解码器架构

序列到序列学习(seq2seq)

束搜索

ch8-注意力机制

注意力提示

注意⼒汇聚：Nadaraya-Watson 核回归

注意力评分函数

Bahdanau 注意⼒

多头注意力

自注意力和位置编码

Transformer

ch9-优化算法

优化与深度学习

凸性

梯度下降

随机梯度下降

⼩批量随机梯度下降

动量法

ch10-自然语言处理：预训练

词嵌入

近似计算

用于预训练词嵌入的数据集

预训练word2vec

全局向量词嵌入

子词嵌入

词的相似性和类比任务

来⾃Transformers的双向编码器表⽰（BERT）

用于预训练BERT的数据集

预训练BRET

Ex-pytorch_lightning

pytorch-lightning 学习笔记

End-参考

References-https://zh.d2l.ai/chapter_preface/index.html