线性回归的初始实现 %matplotlib inline import matplotlib_inline import torch from IPython import display from matplotlib import py

深度学习框架正是为了缓解这种代码复杂性而诞生。尤其是，如果你想在CPU上训练神经网络（这种硬件会带来10-100倍加速），深度学习框架可以显著减少代码复杂度（减少错误并加速开发），同时提高运行性能。 框架如何简化你的代码呢？ 它让你不必写你

在多个位置复用权重 如果需要在多个位置检测相同的特征，请使用相同的权重。 过拟合的产生通常是由于当前网络参数的数量多于学习特定数据集所需要的参数数量——这种情况下，网络有足够多的参数，以至于它可以记住训练训练集中的每一个细节，而不是对高层次

什么是激活函数 它是在预测时应用于一层神经元的函数。 因为我们一直在使用一个名为relu的激活函数（如下图所示），relu函数具有将所有负数变为0的效果： 简单来说：激活函数指的是任何可以接受一个数字并返回另一个数字的函数。 要使一个

使用在MNIST上的三层网络 import sys, numpy as np from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.lo

反向传播 交通信号灯问题 神经网络如何学习整个数据集？ 可以通过解读交通信号灯的含义来知道什么时候过马路是安全的。但是我们只能观察每种灯光组合和周围的人通行或止步的相关性来进行判断： 准备数据 如何训练一个监督神经网络？ 可以交给它两个数

比较 本章中，我们只介绍一种简单的测量误差的方法：均方误差。 “比较”这一步会让你知道自己的模型错了多少，但这还不足以让它真正学会，因为只是“比较”它不会告诉你为什么错了，在什么方向产生了失误，应该做什么来纠正错误。它只能给出表示“严重失误

基本概念 什么是深度学习？ 深度学习是机器学习方法的一个子集。深度学习是机器学习的一个子集，机器学习是一个专门研究和开发能够学习的机器的领域(有时候最终目标是获得通用人工智能)。 深度学习在业内，深度学习被用于解决多个领域的实际任务，如计算

如今在神经网络上获得更好性能的最可靠的方法是什么？ 训练一个更大的神经网络 投入更多数据 这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练。 所以如果你没有大量的训练集，那效果会取决

模型量化（Q） 用定点的数值运算代替浮点的数值运算。 模型剪枝（P） 一般指的是模型训练后进行反训练之前，或反训练之后部署之前进行剪枝，或保留模型的部分权重和结构。 online：边剪枝边训练 offline：不训练直接剪枝 权

后训练量化虽然操作简单，并且大部分推理框架都提供了这类离线量化算法 (如 tensorrt、ncnn，SNPE 等)，但有时候这种方法并不能保证足够的精度，因此本文介绍另一种比后训练量化更有效地量化方法——量化感知训练。 量化感知训练，顾名

刀塔传奇怀旧私服的一些过时阵容整理