监督学习之线性模型(1)

一、线性关系与非线性关系

1、线性关系与线性方程

线性关系:两个变量之间为一次方函数关系 / 在数学上可以理解为一阶导数为常数的函数 , 就称它们之间存在线性关系。(正比例关系是线性关系中的特例)
线性方程:代数方程如y = 3x + 9的自变量和因变量之间就是线性关系。这种方程的图像为直线或平面。

2、非线性关系与非线性方程

非线性关系:两个变量之间不是一次方函数关系 / 在数学上可以理解为一阶导数不为常数 , 就称它们之间存在非线性关系。这是一种自然界中普遍存在的复杂关系。
非线性方程:代数方程如y = 2x2 + 5的自变量和因变量之间就是非线性关系,常见的非线性关系有平方关系、对数关系、指数关系和三角函数关系等。这种方程的图像为不是直线或平面。

二、线性模型

线性模型是一种用自变量的线性组合来表示因变量的函数方程。

1、基本线性模型

假设一个某个数据集中的每个示例由n维属性表示,则其中每个示例均可以表示为Xn =(x1 ; x2 ; … xn),其中xi表示示例x在第i个属性上的属性值,则我们可以构建如下的线性模型
形式如下:

$ f(X_{n}) = w_{1} * x_{1} + w_{2}x_{2} +…+ w_{n}x_{n} + b$
$ f(X_{n}) = X_{n}*W_{n} + b $

线性模型形式简单、易于建模,但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可以在线性模型的基础上通过引入层级结构或高维映射而得。

2、广义线性模型

基本的线性模型虽简单,却有丰富的变化。我们将模型改写为

$ y = W * X + b $

尝试令模型逼近 y 的衍生物,比如ln(y):

$ ln(y)= W * X + b $

可以接着变形为

$ y = e^{W * X+b} $

它实际上是试图让eW*X+b逼近y,形式上仍是线性回归,但实质上已是在求取输入空间到输出空间的非线性函数映射。
将它拓展到更一般的形式,如下

这样得到的就是广义线性模型,其中 g(·)称为”联系函数”(link function)。
广义线性模型(generalize dlinear model)是线性模型的扩展,通过联结函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。其特点是不强行改变数据的自然度量,数据可以具有非线性和非恒定方差结构。
广义线性模型的核心体现在预测变量y服从指数族分布(包括高斯分布,伯努利分布,多项式分布,泊松分布,beta分布……)

0%