14-数值稳定性+模型初始化和激活函数

本节目录

• 1. 数值稳定性
  • 1.1 神经网络的梯度
  • 1.2 数值稳定性的常见两个问题
  • 1.3 例子：MLP
  • 1.3 梯度爆炸
    • 1.3.1 使用ReLU作为激活函数
    • 1.3.2 梯度爆炸问题
  • 1.4 梯度消失
    • 1.4.1 使用Sigmoid作为激活函数
    • 1.4.2 梯度消失的问题
• 2. 模型初始化和激活函数
  • 2.1 让训练更加稳定
  • 2.2 基本假设：让每层的均值/方差是一个常数
  • 2.3 权重初始化
  • 2.4 例子：MLP
    • 2.4.1 模型假设
    • 2.4.2 正向方差
    • 2.4.3 反向均值和方差
    • 2.4.4 Xavier初始
    • 2.4.5 假设线性的

Read more

13-丢弃法

本节目录

• 1.丢弃法动机、实现及原则
  • 1.1动机
  • 1.2如何实现模型的这一能力
  • 1.3加入噪音的原则
• 2.丢弃法内容
• 3.丢弃法使用
  • 3.1丢弃法的使用位置
  • 3.2训练中的丢弃法
• 4.总结
• 5.代码部分
  • 5.1Dropout部分
  • 5.2在神经网络中使用丢弃法

1.丢弃法动机、实现及原则

1.1动机

• 一个好的模型需要对输入数据的扰动鲁棒（健壮性）

1.2如何实现模型的这一能力

• 使用有噪音的数据。
• 丢弃法：在层之间加入噪音。

1.3加入噪音的原则

• 例如模型的功能是识别猫猫，加入噪音可以是输入模糊的猫猫图片，但尽量不要是狗狗的图片。

2.丢弃法内容

• 丢

Read more

12 权重衰退 Weight Decay

目录

• 1. 硬性限制/直观理解
• 2. 柔性限制/实际应用
• 3.参数更新
  • 3.1 计算梯度
  • 3.2 更新参数
• 4.总结
• 5.Q&A

权重衰退是最常见的一种处理过拟合的方法，是最广泛使用的正则化技术之一。

复习：控制模型容量

1. 使用更少参数
2. 控制每个参数（取值/可选择的值）范围较小

其中权重衰退属于第二种方法。

1. 硬性限制/直观理解

我们的优化目标仍然是)，只是额外对添加一个限制条件，即权重的各项平方和小于一个特定的常数。那么设定一个较小的就会使得中每个元素的值都不会太大。

通常不会限制偏移b，理论上讲b表示整个数据在零点上的偏移，

Read more

11-模型选择+过拟合和欠拟合

本节目录

• 1. 模型选择
  • 1.1 实例分析：预测谁会偿还贷款
  • 1.2 训练误差和泛化误差
  • 1.3 验证数据集和测试数据集
  • 1.4 K-则交叉验证
  • 1.5 总结
• 2. 过拟合和欠拟合
  • 2.1 什么是过拟合和欠拟合？
  • 2.2 模型容量
  • 2.3 模型容量的影响
  • 2.4 估计模型容量
  • 2.5 VC维
  • 2.6 VC维的用处
  • 2.7 数据复杂度
  • 2.8 总结
• 3. 多项式回归
  • 3.1 导入库
  • 3.2 生成数据集
  • 3.3 NumPyndarray转换为tensor
  • 3.4 对模型进行训练和测试
  • 3.5 [三阶多项式函数拟合(正态)]
  • 3.6 [线性函数拟合(欠拟合)

Read more

目录

• 多层感知机
  • 感知机
    • 定义
    • 训练
    • 收敛定理
  • 线性模型的缺陷
  • 多层感知机
    • XOR问题的多层次解决
    • 多层感知机
    • 激活函数
    • 补充
  • 练习
  • 总结

多层感知机

感知机

定义

从现在的观点来看，感知机实际上就是神经网络中的一个神经单元

感知机能解决二分类问题，但与线性回归和softmax回归有所区别：线性回归与softmax回归的输出均为实数，softmax回归的输出同时还满足概率公理。

训练

训练感知机的伪代码如下：

initialize w = 0 and b = 0
repeat
    #此处表达式小于0代表预测结果错误
    if y_i[<w,x_i>+b] 

Read more

09-softmax回归

本节目录：

• 09-softmax回归
  • 本节目录：
  • 1.回归VS分类：
    • 1.1 从回归到多类分类：
      • 回归：
      • 分类：
      • 均方损失：
      • 无校验比例
      • 校验比例
    • 1.2 Softmax和交叉熵损失
  • 2.损失函数
    • 2.1 L2 Loss
    • 2.2 L1 Loss
    • 2.3Huber's Robust Loss
  • 3.图片分类数据集
    • 3.1 Fashion-MNIST数据集：
  • 4.从零实现softmax回归
    • softmax:
  • 5.softmax的简洁实现
  • 6.softmax回归Q&A

1.回归VS分类：

• 回归估计一个连续值
• 分类预测一个离散类别

1.

Read more

线性回归+基础优化算法

• 线性回归+基础优化算法
  • 1.线性回归
  • 2.基础优化算法
  • 3.线性回归的从零开始实现
  • 4.新型回归的简洁实现
  • 5.- 线性回归+基础优化算法

1.线性回归

• 房价预测例子

• 线性模型

  • 输入：$x=[x_1,x_2,...,x_n]^T$

  • 线性模型需要确定一个n维权重和一个标量偏差$\omega=[\omega_1,\omega_2,...,\omega_n]^T,b$

  • 输出 ：$y=\omega_1x_1+\omega_2x_2+...+\omega_nx_n+b$，

    向量版本的是 $y=<\omega,x>+b$

  • 线性模型可以看作是单层神经网

Read more

07-链式法则与自动求导

本节目录

• 1. 向量链式法则
  • 例1（标量对向量求导）
  • 例2（涉及到矩阵的情况）
• 2. 自动求导
  • 2.1 计算图
  • 2.2 自动求导的两种模式
  • 2.3 复杂度比较
• 3. 代码部分
• 4. 自动求导 Q&A
• 5. 练习

1. 向量链式法则

• #### 1.1 标量链式法则

• #### 1.2 拓展到向量

  需要注意维数的变化

  下图三种情况分别对应：

  1. y为标量，x为向量
  2. y为标量，x为矩阵
  3. y、x为矩阵

例1（标量对向量求导）

这里应该是用分子布局，所以是X转置

例2（涉及到矩阵的情况）

X是mxn的矩阵,w为n维向量，y为m维向量； z对

Read more

06-矩阵计算

本节目录

• 1. 导数的概念及几何意义
  • 1.1 标量导数
  • 1.2 亚导数
• 2. 函数与标量，向量，矩阵
  • 2.1 f 为是一个标量
    • 2.1.1 input是一个标量
    • 2.1.2 input是一个向量
    • 2.1.3 input是一个矩阵
  • 2.2 f是一个向量
    • 2.2.1 input是一个标量
    • 2.2.2 input是一个向量
    • 2.2.3 input是一个矩阵
  • 2.3 F是一个矩阵
    • 2.3.1 input是一个标量
    • 2.3.2 input是一个向量
    • 2.3.3 input是一个向量
• 3. 求导的本质
• 4. 矩阵求导的布局
  • 4.1 分子布局
  • 4.2 分母布局

1

Read more

05-线性代数

本节目录

• 1. 线性代数基础知识
  • 1.1 标量
  • 1.2 向量
  • 1.3 矩阵
    • 1.3.1 矩阵的操作
    • 1.3.2 特殊矩阵
    • 1.3.3 特征向量和特征值
• 2. 线性代数实现
  • 2.1 标量
  • 2.2 向量
  • 2.3 矩阵
    • 2.3.1 创建
    • 2.3.2 转置
    • 2.3.3 reshape
    • 2.3.4 clone
    • 2.3.5 sum
    • 2.3.6 numel
    • 2.3.7 mean
    • 2.3.8 dot
    • 2.3.9 mm、mv
    • 2.3.10 L1、L2、F范数
    • 2.3.11 运算
    • 2.3.12 广播

1. 线性代数基础知识

这部分主要是由标量过渡到向量，再从向量拓展到矩阵操

Read more