使用 TensorFlow2.0 实现线性回归
本文是笔者学习 TensorFlow2.0（下文都写作 TF2.0） 的一篇笔记，使用的教材是《动手深度学习》（TF2.0版）。
之所以可以使用 TensorFlow 来实现线性回归，是因为我们可以把线性回归看成是只有一层、一个神经元的全连接网络：
上面这个图就是线性回归 的神经网络的表示。
实现线性回归
要实现线性回归，我们需要
定义线性回归模型 定义 Loss 函数 定义迭代优化算法
这些也是机器学习理论中的要点，我们可以借本文来回顾一下。
定义线性回归模型
要实现一个算法，我们首先需要用矢量表达式来表示它，即：使用向量、矩阵来描述一个模型。这样做的好处是：矢量批量计算要比循环一条条的计算每个样本来得快得多，线性回归的矢量表达式为：
其中， 是一个 维的矩阵， 表示 n 条样本， 表示特征的维数； 是模型的参数，它是一个 维的向量； 是偏差值，它是一个标量； 是 n 条样本的预测值，它也是 的向量。
该模型用 TF2.0 实现如下：
import tensorflow as tfimport numpy as npimport randomdef linear_reg(X, w, b):# matmul 是矩阵乘法return tf.matmul(X, w) + b
定义 Loss 函数
一般的，回归模型的 Loss 函数为 MSE（Mean Squared Error）：
上式中， 是样本的观测值（Observed Value）， 和 都是 的向量，n 表示对 n 个样本的 Loss 求平均，避免样本数量给 Loss 带来的影响。因为 Loss 是一个标量，所以上式还需要调整如下：
Loss 用 TF2.0 实现如下：
def squared_loss(y, y_hat, n):y_observed = tf.reshape(y, y_hat.shape)return tf.matmul(tf.transpose(y_observed - y_hat),y_observed - y_hat) / 2 / n
定义迭代优化算法
深度学习大多采用小批量随机梯度下降优化算法（minibatch Stochastic Gradient Descent）来迭代模型的参数，该算法能节省内存空间，增加模型的迭代次数和加快模型的收敛速度。
SGD 算法每次会随机的从样本中选取一部分数据，例如每次取 100 条，然后计算这 100 条数据的 Loss，根据 Loss 求梯度，再用梯度来更新当前的参数，所以这里包含 3 个步骤：
随机选择样本，每次选 n 条 计算这 n 条样本的 Loss，并计算梯度，使用梯度更新参数 循环 1 和 2
先来看下随机选择样本的代码
def data_iter(features, labels, mini_batch):'''数据迭代函数Args:- features: 特征矩阵 nxd 维- labels: 样本，nx1 维- mini_batch: 每次抽取的样本数Example：>>> mini_batch = 100>>> for X, y in data_iter(features, labels, mini_batch):>>> # do gradient descent'''features = np.array(features)labels = np.array(labels)indeces = list(range(len(features)))random.shuffle(indeces)for i in range(0, len(indeces), mini_batch):j = np.array(indeces[i:min(i+mini_batch, len(features))])yield features[j], labels[j]
接着，我们再来看下更新模型参数的代码：
def sgd(params, lr):'''计算梯度，并更新模型参数Args:- params: 模型参数，本例中为 [w, b]- lr: 学习率 learning rate'''for param in params:param.assign_sub(lr * t.gradient(l, param))
以上，关键代码就写完了，下面我们把它们们串起来：
# 产生模拟数据# 1000 条样本，2 维特征num_samples = 1000num_dim = 2# 真实的 weight, biasw_real = [2, -3.4]b_real = 4.2# 产生特征，符合正态分布，标准差为 1features = tf.random.normal((num_samples, num_dim), stddev=1)labels = features[:,0]*w_real[0] + features[:,1]*w_real[1] + b_real# 给 labels 加上噪声数据labels += tf.random.normal(labels.shape, stddev=0.01)# 学习率，迭代次数lr = 0.03num_epochs = 3# 初始化模型参数w = tf.Variable(tf.random.normal([num_dim, 1], stddev=0.01))b = tf.Variable(tf.zeros(1,))mini_batch = 10# 开始训练for i in range(num_epochs):for X, y in data_iter(features, labels, mini_batch):# 在内存中记录梯度过程with tf.GradientTape(persistent=True) as t:t.watch([w, b])# 计算本次小批量的 lossl = squared_loss(y, linear_reg(X, w, b), mini_batch)# 计算梯度，更新参数sgd([w, b], lr)# 计算本次迭代的总误差train_loss = squared_loss(labels, linear_reg(features, w, b), len(features))print('epoch %d, loss %f' % (i + 1, tf.reduce_mean(train_loss)))
简单实现
上述代码是根据线性回归的原理一步步的实现的，步骤十分清晰，但比较繁琐，实际上，TF 提供了丰富的算法库供你调用，大大的提升了你的工作效率。下面我们就用 TF 库中提供的方法来替换上述代码。
我们先用 keras 来定义一个只有 1 层的全连接网络结构，这里参数都不需要你指定了：
from tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow import initializers as initmodel = keras.Sequential()model.add(layers.Dense(1, kernel_initializer=init.RandomNormal(stddev=0.01)))
接下来设置 Loss 函数为 MSE：
from tensorflow import lossesloss = losses.MeanSquaredError()
设置优化策略为 SGD：
from tensorflow.keras import optimizerstrainer = optimizers.SGD(learning_rate=0.03)
小批量随机获取数据集的代码如下：
from tensorflow import data as tfdatabatch_size = 10dataset = tfdata.Dataset.from_tensor_slices((features, labels))dataset = dataset.shuffle(len(features)).batch(batch_size)
可见，构建一个模型就是设置一些配置项，不需要写任何逻辑，把上面代码合起来，如下：
from tensorflow import data as tfdatafrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow import initializers as initfrom tensorflow import lossesfrom tensorflow.keras import optimizers# 设置网络结构：1 层全连接，初始化模型参数model = keras.Sequential()model.add(layers.Dense(1, kernel_initializer=init.RandomNormal(stddev=0.01)))# loss 函数：MSEloss = losses.MeanSquaredError()# 优化策略：随机梯度下降trainer = optimizers.SGD(learning_rate=0.03)# 设置数据集，和小批量的样本数batch_size = 10dataset = tfdata.Dataset.from_tensor_slices((features, labels))dataset = dataset.shuffle(len(features)).batch(batch_size)num_epochs = 3for epoch in range(1, num_epochs+1):# 取小批量进行计算for (batch, (X, y)) in enumerate(dataset):with tf.GradientTape() as tape:# 计算 lossl = loss(model(X, training=True), y)# 计算梯度并更新参数grads = tape.gradient(l, model.trainable_variables)trainer.apply_gradients(zip(grads, model.trainable_variables))# 本次迭代后的总 lossl = loss(model(features), labels)print('epoch %d, loss: %f' % (epoch, l.numpy().mean()))# 输出模型参数print(model.get_weights())
上面代码直接拷贝便可通过运行（依赖库还需要你自行安装下），初学的同学可以动手试试。
小结
本文通过 TF2.0 来实现了一个简单的线性回归模型，具体包括
按照定义模型、定义损失函数，以及定义迭代算法这几个基本的步骤来实现一个广义的神经网络，麻雀虽小，但五脏俱全 使用丰富的 TF2.0 组件来实现一个更精简的版本，旨在了解 TF2.0 的使用。
参考：
动手深度学习（TF2.0版）-线性回归从零开始实现 (http://bit.ly/39dQCSp) 《动手深度学习》(https://zh.gluon.ai/)