函数数据挖掘及其在中国消费函数分析中的应用（上）

内容提要：以数据挖掘的思想，提出了利用Bernstein基构建一般函数数据的方法。在此基础上，根据中国31个省（自治区、直辖市）城镇居民的人均年收入和消费性支出的数据，构建了消费函数数据，并进行误差分析，求出消费函数的一阶和二阶导数，进一步挖掘消费函数的发展速率，取得良好的效果。
    关键词：函数数据 数据挖掘 Bernstein基 消费函数
    作者简介：朱建平，徐俊伟，乐燕波，厦门大学，经济学院，福建厦门，361005
    引言
    近年来，学术界涌现了一大批针对流式数据挖掘的研究成果。所谓流式数据，指按照时间顺序无限增加的数据观测值向量所组成的数据序列，也可以将流式数据看成历史数据和不断增加的更新数据的并集。在我们的社会生活与实践中会遇到许多复杂的流式数据集，函数数据(Functional Data)就是复杂流式数据结构的一种形式。函数数据这一概念最早出现在加拿大统计学家Ramsay，J.O.(1982)的文章《When the Data are Functions》中[1]。真正对函数数据进行分析始于1991年Ramsay, J. O.和Dalzell, C. J. 发表的文章《Some Tools for Functional Data Analysis》[2]。目前，函数数据分析成为统计学术界研究的热点，涌现了大量相关的理论和经验分析文章，应用领域也不断扩大，从化工制药到生物医学[3]，从地理勘测到经济测算[4]，等等，其良好的应用效果和使用价值备受人们关注。然而，数据挖掘的研究对象大部分是针对离散型数据而言，对于函数数据挖掘的研究，将打破连续型数据和离散型数据长期以来的分离状态，实现离散和连续的过渡。
    为了更好的扩展函数数据分析方法应用领域，我们有必要根据实际问题从数据挖掘的角度，对函数数据的理论进行研究，不断完善函数数据分析方法。一个函数数据由n个数据点构成，将原始的函数数据转换成真正的函数形式是函数数据分析的一个重要环节，由于大多数数据都带有噪声成分，所以常需要一些平滑技术来进行数据的预处理[5,6]，也就是构造函数数据的具体形式。然而，在函数数据的构造过程中是将观测次数或时间作为自变量，这样对复杂现象的分析就有了一定的局限性，例如，我们测量了收入与消费的函数数据，对此问题的解决将为构造一般函数数据的理论及方法奠定基础。因此，本文研究以Bernstein基函数构造一般函数数据形式的理论及方法，并对中国的消费函数数据进行挖掘，以得到消费函数速率变化的规律性。
    一、以Bernstein基构建函数数据
    设函数y(X)的观测值由T个数据点构成，在此我们将它视为函数数据而不是多变量数据，因为观测数据点背后都存在着相应的函数y(x)。
    
    这里我们注意到，现有的某些经典基函数在实际运用中可能显得不那么理想，例如多项式基为幂基时，随着阶数的增加系数矩阵会出现病态的情形；对于拉格朗日(Lagrange)基函数，求导复杂，且每增加一个数据点时，原来的结果不能利用，这不适合数据挖掘的要求；对于傅立叶(Fourier)基函数，当某些不连续的函数或低阶导函数不连续的情况，它就不适合了。基函数选择的合理不仅意味着更少的运算量，并估计出的系数本身可以具有一定的解释意义，而且导数的估计也是特别重要[7]。而Bernstein基函数的最大优点是对计算机输入与交互修改拟合曲线带来很大的方便，体现出利用机器学习处理复杂数据的特点，这是对函数数据挖掘的最好切入点。这一特点是由Bernstein基函数的性质所决定的，其表现在以下五个方面：