当前位置:众信范文网 >专题范文 > 公文范文 > 狭义光谱仪多元校正模型传递算法的演变过程

狭义光谱仪多元校正模型传递算法的演变过程

时间:2022-10-24 11:50:03 来源:网友投稿

摘 要:介绍了光谱仪多元校正模型传递的原理和一些常用算法,并详细给出了重要算法演化过程;并对相关算法进行评述;最后对可研究方向进行了展望。

关键词:光谱仪;模型传递;算法

中图分类号:TS251.51 文献标识码:A 文章编号:1674-7712 (2014) 24-0000-02

在多元校正方法实际应用中,经常遇到这样的情况,在某一仪器(称源机,Master)上建立的一个多元校正模型,而该模型在另一台与源机相同型号的仪器(称目标机,Slaves)上无法使用,或者结果产生较大的偏差。解决这类问题过程称之为模型传递(Model Transfer),也称仪器的标准化(Standardization of Spectrometric Instruments)。

模型传递的概念有广义和狭义之分,狭义的模型传递特指使用数学方法对光谱变异进行修正,使之能适用于原模型。广义的模型传递则泛指利用数学方法使特定条件下建立的模型能够应用于新的样品状态、环境条件或仪器状态等,即包括了狭义的模型传递和模型维护二部分。

即广义模型传递包括模型传递和模型矫正,本文主要介绍狭义概念的模型传递算法。

狭义模型转移方法可分为需要借助于标准化样品的标准化算法(standardization methods)和不需要借助于标准化样品的非标准化算法。常用的非标准化方法系指各种光谱预处理方法(包括基线校正、一阶或二阶导数、平滑、标准正态变量变换等)。但当标准化方法难以应用时,如两台仪器相隔很远,或者样品的化学性质不稳定等,不能在不同的仪器上测定标准化样品时,必须使用非标准化方法解决部分模型传递问题。本文按方法特点将狭义模型传递问题分为两类主流算法。第一类算法是基于光谱图矫正的方法,即通过建立主从机产生光谱图的函数关系,将从机所测数据经过函数变换后,再使用主机所建立的校正模型进行预测。常见算法包括神经网络[1]、DS、PDS、PA算法以及改进算法[2-5]。第二类算法是提高校正模型自身的稳健性,其主要思想是扣除非化学物质信号与因变量之间的关系,从而提高校正模型的稳健性(信号预处理方法和回归方法)[3]。常见算法包括变量筛选、微分、小波变换、多元散射校正(MSC)、标准正交变量变换(SNV)、傅里叶变换(FT)、正交信号校正(OSC)等。

目前,大多数研究成果属于第一类算法,而应用最为普遍和最为成功的方法是基于分段直接标准化(PDS)方法的优化方法。因此本文按算法大致演变的顺序,在每一类算法中摘选代表性的算法进行阐述。

一、基于光谱图矫正核心算法

(一)DS算法

DS模型传递方法的基本思想为:通过数学方法建立主仪器和从仪器所测光谱信号之间的函数关系,由确定的函数关系变换从仪器所测光谱信号,尽可能从仪器上测定的谱图,与主仪器测定的同一样品的谱图相同,从而实现模型传递。

寻求两台仪器间的变换关系的目的就是希望将从仪器上测得一个样品的光谱X´,通过一定的数学模型,同相应的主仪器上的光谱联系起来,得到转换光谱X,

X=g(X´) (1)

进行完转换后,原始的校准模型就可以用来间接预测新仪器上测得的光谱,

Y=f(g(X´)) (2)

除了对于不同仪器之间的测量光谱进行转换以外,这种转换思想对于同一仪器的长时间漂移,或者由于部件的更换,测量环境的改变等引入的光谱差异纠正也是适用的。

该算法是有标样方法。这类算法必须选择一定数量的样品组成标样集,并在源机和目标机上分别测得其信号,从而找出该函数关系。SD算法假设不同仪器之间光谱的变异关系是线性的;在计算转换矩阵F时,通常标准化样品的数量远少于波长点的数量,因此可能会出现过拟和现象;SD算法在计算转换矩阵F时假设不同仪器之间光谱的任何变化都是由于仪器差异引起的,因此除了仪器的差异外,样品的变化也会被校正到模型中去,即F中还校正了大量的样品化学变化信息。

(二)PDS算法

DS的改进算法,是一种多元全光谱标准化方法。该算法考虑到:对于一个实际的光谱数据,波长点的漂移通常只局限于一个小的区域,因此,主仪器上的每个波长点只需要与从仪器上相应的波长点附近的谱段关联,而并非需要与全谱区的所有光谱点关联。具体步骤是:将一台仪器上i波长附近的i-k到i+j波长段(窗口)对应的吸光度与另一台仪器上i波长对应的吸光度关联起来,将窗口沿波长移动从而得到整个光谱的传递系数。关联的数学方法可以是主成分回归或偏最小二乘法。

由于PDS是在谱图局部的一定范围内进行关联的,所以它能较好地校正仪器间波长的差别,所需的传递样品数也较少;由于PDS在许多领域中的成功应用,它也常常作为新方法的对比方法。DS是在整个光谱区域进行这种转换,而PDS则选择某个频率附近的一个大小固定的窗口内进行转换。只要能选择出反映仪器间差异的样品,DS和PDS就能得到好的结果。需要指出的是,这类方法对标样的选择比较敏感。DS和PDS必须有同一样品在不同仪器上的测量信号。

二、基于噪声扣除算法

(一)正交信号处理[3]

仪器的测量信号X由样品本征信号X1和仪器响应信号Ri两部分组成,也就是对于原机A和目标机B分别得到

XA=X1,A+RiA, XB=X1,B+RiB

OSC的基本思想是以矩阵X对矩阵Y的信息正交为判断标准,对矩阵X中的变量进行过滤,以除去X中与Y无关的部分。由于它是针对与Y无关的信息,也就可以消除仪器间的差异。OSC是以PLS为基础建立起来的,为使PLS的第一主成分t对Y正交,(1)建立等式:Torth=t-Y(YTY)-1YTt;(2)求出权重矢量:torth=Xworth(3)载荷矢量为:Porth=XTtorth/(tTorth*torth);(4)把第一主成分中与 不相关的信息去除,得到残差:E=X-torthPTorth。

在第二主成分计算时,E代替X进行计算,反复进行,直至所需的OSC因子被移除。对目标机取得的谱图XB,test,可输入建立好的OSC模型,由X*B,test=XB,testw(PTw)-1PT,得到OSC变换后的X*B,test。文献[4]对建立的正交和预测模型,通过OSC处理后对数据实现了预测,预测精度有了明显改善。

OSC既不需要限定标样的来源,也不需要取得同一样品在两台仪器上的测量信号。以矩阵X中和Y正交的信息作为去除的对象,OSC的这种思想对于噪声的去除、模型的稳健性发展具有借鉴意义。相对于DS和PDS,虽然三者传递效果相当,但是OSC不需要同一样品在两台仪器上的测量信号,对标样的来源也没有限制。同时,可以用较少的支集进行转换,具有稳健性。这对于模型传递的广泛应用,尤其是对一些特殊的测量样品的模型传递,具有很现实的意义。

(二)WT-PDS算法

小波变换用于近红外预处理,提取有用信息,消除背景干扰,可以提高近红外的分析精度和模型稳健性,用于数据压缩可以减少数据库存储空间,提高建模速度[5]。

王菊香[6]提出小波多尺度分段直接校正法(WMPDS),先对混胺的近红外光谱进行小波分解,然后用PDS算法对每一层小波系数进行传递,PDS窗口随小波系数频率的提高进行动态调整,最后进行小波重构。能有效消除不同仪器之间的大部分差异,大幅度地改善分析精度,与传统的PDS相比,传递效果明显提高。小波系数用于模型传递,具有传递速度快,稳健性强,所需标样少等特点。小波变换可以与神经网络、遗传算法等结合,在近红外分析领域呈现出良好的发展前景。

三、结束语

本文介绍了狭义模型传递算法的演变过程以及重要算法流程。其中,以光谱修正算法和信号处理算法为主,主要的思想是希望通过更换统计算法和信号处理算法来改进的变换模型具有更优的性能。这些算法的有局限性是任何一种模型传递方法都不可能完全适用于所有情况[7]。因此,如果研究学者们能将模型传递领域研究的重心更多地放在广义模型传递上(从加强校正模型相对于仪器的适应性可移植性、模型的健壮性)出发来构建有效多元校正模型,并有所突破。这个技术将会很快在模型传递的工程应用领域中得到广泛应用。

参考文献:

[1]熊宇虹,温志渝.基于支持向量机的模型传递方法研究[J].光谱学与光谱分析,2007(27):147-150.

[2]李华,王菊香.改进的K_S算法对近红外光谱模型传递影响的研究[J].光谱学与光谱分析,2011(31):362-365.

[3]张琳,张黎明.正交信号校正用于傅里叶变换红外光谱的模型传递[J].分析化学(FENXI HUAXUE)研究报告,2005(33):1709-1712.

[4]张琳,张黎明.模型传递用于解析遥感傅里叶变换红外谱图[J].光谱学与光谱分析,2006(26):1614-1617.

[5]田高友,袁洪福.小波变换在近红外光谱分析中的应用进展[J].光谱学与光谱分析,2003(23):1111-1114.

[6]王菊香,李华.小波多尺度分段直接校正法用于近红外光谱模型传递的研究[J].分析化学(FENXI HUAXUE)研究报告,2011(39):846-850.

[7]褚小立,袁洪福.光谱多元校正中的模型传递[J].光谱学与光谱分析,2001(21):881-885.

[作者简介]梅青平(1982.03-),男,重庆沙坪坝人,讲师,工学硕士,主要从事计算智能算法应用教学及研究。

[基金项目]重庆城市管理职业学院科研项目(项目编号:2014kykt019)。

推荐访问: 光谱仪 狭义 校正 演变 算法