化学计量学领域当中的父子档·Svante Wold关于早期PLS开发的回忆

 

但是一开始的时候,我对PLS的实践效果并没有太多的好感,因为变量数太多的时候,这种方法很容易就会受到过拟合的影响,所以我并没有把这种方法太当回事儿。...




Research Group for Chemometrics,
Institute of Chemistry, Umea° University, Umea,
Sweden Umetrics AB, Umea, Sweden
我对PLS的回忆要从1964年说起。那时是我的父亲Herman Wold产生了关于PLS的最初想法,他在自己的工作当中使用到了多变量建模的方法。在他老人家60多岁的时候,他已经开发了一种所谓的相互依存的系统模型用于经济计量学当中多变量时间序列的建模。我父亲使用的这些都是一种相互关联的回归模型。在这种模型当中,他使用固定点估算(与交替最小二乘法以及非线性迭代偏最小二乘法[NIPALS]相关的)进行经济计量学的工作,他更倾向于使用对模型的不正确性具有较低敏感程度的最大似然法,而且也对数据当中的各种类型噪音青睐有加。他后来意识到了多变量建模当中潜在变量概念的作用以及使用定点和NIPALS法进行评估的可能性。这让我的父亲开始对主成分分析方法感到了兴趣,他认为主成分分析法是一种适合多元变量建模可用的方法。随后他将这种方法推广到潜在变量当中的路径模型,使用偏最小二乘方法进行评估工作。



Herman Wold(赫曼·沃德,全名Herman Ole Andreas Wold,1908年12月25日—1992年2月16日)是一位挪威籍经济计量学家和统计学家,他职业生涯的大部分时间都在瑞典度过。沃德在数理经济学、时间序列分析以及经济统计学方面被人们所熟知。

我父亲的第一篇关于PLS的论文发表于1975年,在文中他将PLS应用到经济与社会科学数据的多个模块当中。在1980年左右,他觉得PLS的发展已经区域成熟,之后他与自己的一位学生K.-G. Joreskog(他开发了线性结构关系模型(LISREL),一种对应于PLS的最大似然法)在日内瓦郊外的一个叫做Cartigny(卡尔蒂尼)的小镇举办了一场美好的会议,在这次会议上,大家在一起见证了PLS方法的有效性。

潜在变量的概念开始让我对复杂的处理过程产生兴趣的时候,我发现潜在变量的效果与有机化学的某些方面非常相似,比如说诱导性、亲脂性和空间位阻等。因此我被PLS的原理深深地吸引着。但是一开始的时候,我对PLS的实践效果并没有太多的好感,因为变量数太多的时候,这种方法很容易就会受到过拟合的影响,所以我并没有把这种方法太当回事儿。我父亲看到了自己亲自开发的PLS方法居然在自己的儿子面前站不住脚,于是他开始向我热情并耐心的解释潜在变量(被估计为原始的、显变量的加权平均值)是如何让计算环境变得更加稳定,他循循善诱的劝导我说这是一种具有很大潜力的分析方法,即便是在神经科学和工程专业当中也可以发挥一定的作用。

我的化学研究生涯到现在一直都不曾停止与多元构效关系以及物理有机化学模型打交道,但是我主要使用主成分分析模型进行分类工作(SIMCA方法)。我认为在每一种类别当中,我们可以使用与PLS相类似的模型找到分类中位置之间的关系,也可以找到像生物活性水平这样的“外部特性”,于是我在1978年写下了关于这些发现结果的文章。一开始我只是使用最简单的PLS模型(含有两个数据块),然后发现这种方法可以被视为一种可以具有简单几何解释作用的潜在变量中的回归模型。这个发现真的是让我欣喜若狂,于是我开始着手模仿变量数更多时PLS所发挥的效果,我想故事的结局大家都应该猜得到,我父亲的想法是对的——很多X变量是可以不需要或者只需要很小的过拟合就可以处理(假设用来交叉验证的模型成分数保持在一定数目)。

具体是在1979年还是1980年我也记不太清了,我在奥斯陆遇见了Harald,我们那次相遇是一个值得被铭记的时刻。我再三向Harald解释说PLS能够很好的解决他的多元变量校正问题。之后我和他一起使用我父亲Herman的2-block PLS将数据分成三块A、B、C进行分析,但结果却是一场科学危机——我父亲的方法没有奏效,甚至都没能够完成第一主成分的分析。Harald和我开始分头寻找解决问题的办法。我得到了Axel Ruhe莫大的援助,他后来成了瑞典于默奥大学的数值分析教授。在那段编程(使用8位CPM计算机)期间,我和Harald每天都要互通好几个小时的电话,当我们渐渐找到解决办法并发现2-block PLS模式方法的惊人特性时,我们终于有一种实至名归的感觉。

在1983年,Harald及其上司举办在奥斯陆郊外的某处举办了一次食品研究的数据分析会议,在这次会议上,我首次发布了一个带有很多y变量的APLS-2B模块的PLS程序。之后,我的父亲Herman还有我和Harald在1983年联合发布了关于PLS和多元变量校正的第一篇论文,同时分析化学界的人士都得到了相关消息,之后,所有的学术界都知道了关于PLS这种方法。

PLS方法声名鹊起之后,犹如星火燎原之势在北欧国家(包括冰岛、挪威、丹麦瑞典以及芬兰)掀起了热浪。这场热浪直接吸引了来自化学界相关的知名研究人员纷纷赶到瑞典参加MULDAST大会,包括Harald、 Kim、 Agnar、Tormod、 Pentti、 Michael、 Sergio等其他与会人员。甚至Bruce Kowalski也不远万里从美国赶来参加我们的会议,这是一场值得历史铭记的科学时刻,对于化学计量学领域的PLS早期的发展来说具有不可言喻的意义。
Svante Wold
LinkedIn 个人主页
https://www.linkedin.com/in/svante-wold-7b7a461b/zh-cn


1.     PLS-regression: a basic tool ofchemometrics

S Wold, M Sjöström, L Eriksson

首发杂志:Chemometrics and intelligentlaboratory systems 58 (2), 109-130

首发时间:2001年

引用次数:4006

2.     Principal component analysis

S Wold, K Esbensen, P Geladi

首发杂志:Chemometrics and intelligentlaboratory systems 2 (1-3), 37-52

首发时间:1987年

引用次数:3749

3.     Cross-validatory estimation of thenumber of components in factor and principal components models

S Wold

首发杂志:Technometrics 20 (4), 397-405

首发时间:1978年

引用次数:2339

4.     The collinearity problem in linearregression. The partial least squares (PLS) approach to generalized inverses

S Wold, A Ruhe, H Wold, WJ Dunn, III

首发杂志:SIAM Journal on Scientific andStatistical Computing 5 (3), 735-743

首发时间:1984年

引用次数:1590

5.     Orthogonal projections to latentstructures (O‐PLS)

J Trygg, S Wold

首发杂志:Journal of chemometrics 16 (3),119-128

首发时间:2002年

引用次数:1272

6.     Multi-and megavariate data analysis:principles and applications

L Eriksson, E Johansson, N Kettaneh-Wold, S Wold

首发杂志:Umetrics

首发时间:2001年

引用次数:973

7.     Multi-and megavariate data analysisbasic principles and applications

L Eriksson, T Byrne, E Johansson, J Trygg, C Vikström

首发杂志:Umetrics Academy

首发时间:2013年

引用次数:965

8.     Pattern recognition by means ofdisjoint principal components models

S Wold

首发杂志:Pattern recognition 8 (3), 127-139

首发时间:1976年

引用次数:959

9.     Orthogonal signal correction ofnear-infrared spectra

S Wold, H Antti, F Lindgren, J Öhman

首发杂志:Chemometrics and Intelligentlaboratory systems 44 (1), 175-185

首发时间:1998年

引用次数:880

10.   The multivariate calibration problemin chemistry solved by the PLS method

S Wold, H Martens, H Wold

首发杂志:Matrix pencils, 286-293

首发时间:1983年

引用次数:763

11.   Multi‐way principal components‐andPLS‐analysis

S Wold, P Geladi, K Esbensen, J Öhman

首发杂志:Journal of chemometrics 1 (1),41-56

首发时间:1987年

引用次数:627

12.   Multivariate data analysis inchemistry

S Wold, C Albano, WJ Dunn III, U Edlund, K Esbensen, PGeladi, ...

首发杂志:Chemometrics, 17-95

首发时间:1984年

引用次数:556

13.   Nonlinear PLS modeling

S Wold, N Kettaneh-Wold, B Skagerberg

Chemometrics and intelligent laboratory systems 7 (1-2),53-65

首发时间:1989年

引用次数:489

14.   A completely automatic French curve:Fitting spline functions by cross validation

G Wahba, S Wold

首发杂志:Communications in Statistics-Theoryand Methods 4 (1), 1-17

首发时间:1975年

引用次数:472

15.   Some recent developments in PLSmodeling

S Wold, J Trygg, A Berglund, H Antti

首发杂志:Chemometrics and intelligentlaboratory systems 58 (2), 131-150

首发时间:2001年

引用次数:457

除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

如有侵权行为,请及时告知本平台,并平台会及时删除。


    关注 化学数据联盟


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册