使用线性回归模型逼近目标模型 | PyTorch 深度学习实战

前一篇文章，计算图 Compute Graph 和自动求导 Autograd | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

什么是回归

在统计学中，回归分析（regression analysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

简单说，就是使用统计学手段，分析变量之间的规律。发现规律后，可以根据给定的数据猜测特征空间的因变量¹的数据。

参考文章：https://zhuanlan.zhihu.com/p/669597409

什么是线性回归

用一条直线去逼近数据的分布，参考定义:

A linear regression is a straight line that describes how the values of a response variable $y$ change as the predictor variable $x$ changes.

线性回归在实际中，可以包含多元的情况，比如：

$$z=w_{1}x+w_{2}y$$

更多线性回归介绍，参考文章。

使用 PyTorch 实现线性回归模型

实现量化投资：现在假如我们观测到了某支股票的数据 $v$，并且这支股票和石油的价格 $x$、黄金的价格$y$和原煤的价格 $z$ 有关联。因此，我们取得了不同时刻的 $x$ $y$ $z$ 和对应的股票价格 $v$，现在，依据这些数据，建立一个方程式：

$$v=ax+by+cz+d$$

此时，依赖历史采集的数据，我们来求 a,b,c,d 的值。
使用 PyTorch，这个程序实现如下。

代码

import torch
import matplotlib.pyplot as plt
import numpy as np

# X and Y data，观测数据，包含多条
# 每条包含 3 个数据，分别代表石油、黄金、原煤的价格
x_data = [[65., 80., 75.],
          [89., 88., 93.],
          [80., 91., 90.],
          [30., 98., 100.],
          [50., 66., 70.]]
# 对应的这支股票的价格
y_data = [[152.],
          [185.],
          [189.],
          [196.],
          [142.]]

# 定义输入 tensor 和输出 tensor 的变量
x=torch.autograd.Variable(torch.Tensor(x_data)) 
y=torch.autograd.Variable(torch.Tensor(y_data))

# Our hypothesis XW+b，定义模型及参数
model=torch.nn.Linear(3,1,bias=True)

# cost criterion，定义损失函数
criterion=torch.nn.MSELoss()

# Minimize，优化器
optimizer=torch.optim.SGD(model.parameters(),lr=1e-7)

# 训练轮数
epochs=200
cost_h=np.zeros(epochs)

# Train the model，对于这个简单的问题，没有使用 SGD，每次都是将数据录入
for step in range(epochs):
    optimizer.zero_grad()
    hypothesis=model(x) # Our hypothesis
    cost=criterion(hypothesis,y)
    cost.backward()
    optimizer.step()
    cost_h[step]=cost.data.numpy()
    print(step,'Loss:',cost.data.numpy(),'\nPredict:\n',hypothesis.data.numpy())

for name, param in model.named_parameters():
    if param.requires_grad:
        print(name, param.data)

plt.plot(cost_h)
plt.show()

执行结果

使用 Python 运行上述程序，结果如下：

weight tensor([[-0.0980,  0.5064,  0.4115]])
bias tensor([-0.1257])

因为模型的定义是：

model=torch.nn.Linear(3,1,bias=True)

也就是包含了三个参数和一个偏置，最终机器学习得到的公式就是：
$$v=-0.0980x+0.5064y+0.4115z-0.1257$$

我们就可以由某一天的黄金、石油、原煤的价格，来预测这支股票的价格。