在学习万能逼近定理之前,我们要深刻的理解“函数”这个东西,主要包括函数的定义和函数的表示这两个方面的认知。
可以说,“函数”是“对应关系”的代名词,函数的本质就是关系。我们可以看一下函数的定义:
设两个非空数集$A$和$B$,如果按照某种确定的对应关系$f$,使得对于$A$中的任意一个数,在$B$中都有唯一确定的一个数$f(x)$与之对应,那么就称$f: A \rightarrow B$是一个函数。由此我们可以看出,函数是用对应关系描述的。
从函数的定义,我们可以看出监督学习(机器学习或深度学习)的本质就是在找某个函数。监督学习的过程是这样的:从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以根据这个函数预测结果。
在我看来函数有两种表示方法:公式表示法和矩阵表示法。公式表示法就是我们在高数中学习到的各种函数,而矩阵表示法就是神经网络。