深度学习笔记

目录

线性模型

• 线性回归的数学表示
• 线性回归的求解
• 最大似然估计
• 模型容量、欠拟合和过拟合
• 正则化：防止模型过拟合
• Logistic Regression

前馈神经网络

• 前馈神经网络与反向传播
• Softmax
• PyTorch的Tensor和自动求导
• 神经网络房价预测-PyTorch实现

卷积神经网络

• 卷积层
• 池化层
• LeNet 简单卷积神经网络
• AlexNet 深度学习兴起
• VGG 基础卷积块
• NiN 1×1卷积层
• GoogLeNet 并行连接的网络
• BatchNorm 批量归一化
• ResNet 残差神经网络

注意力机制

• Attention 注意力机制
• Transformer
• BERT

训练加速技术

• 混合精度训练
• 深度学习编译

深度学习系统

• RDMA高速网络与集合通讯