近红外光谱技术的发展历史
红外光谱作为一种有效的分析方法,在20世纪30年代得到认可,当时红外仪器主要用于分子结构理论的研究。近红外区的光谱吸收带由中红外区有机物中高能化学键(主要是CH、OH、NH)的基频吸收的倍频、和频、差频吸收带叠加而成。由于近红外光谱的严重重叠和不连续性,很难直接提取物质近红外光谱中与成分含量相关的信息并给出合理的光谱分析。而有机化合物吸收波段多,波段窄,吸收强度高,在中红外光谱有显著的特征吸收。传统的光谱学家和化学分析人员习惯于在中红外基频吸收波段进行光谱分析,因此近红外光谱长期被忽视和遗忘。
随着红外仪器技术的发展,更稳定的电源、信号放大器、更灵敏的光子探测器和微型计算机的发展,使得近红外光谱区作为一个具有独特信息特征的独立光谱区得到重视和发展。Karl Norris作为近红外光谱技术发展的奠基人,开始研究近红外光谱技术在农产品(包括谷物、饲料、水果、蔬菜等)快速定量检测中的应用。)上世纪50年代在美国农业部的支持下。Norris早期的工作主要是探索合理的近红外光谱分析方法,研究物质在近红外辐射下的光谱吸收和散射特性。他首次提出多元线性回归(MLR)算法在建立物质近红外光谱定标模型、提取和分析光谱信息方面的优势,为近红外光谱技术系统理论体系的形成发挥了重要作用。20世纪60年代,Norris领导的研究组进行了大量的光谱方法论证,包括可见光和近红外波段的透射、反射和透反射的比较。这一阶段工作的最大成果是获得了植物叶片和籽粒的反射和吸收光谱,为近红外光谱技术的发展提供了更大的优势和便利。同时,诺里斯公司研制了世界上第一台近红外扫描光谱仪,它是在Cary 14单色仪的基础上改进的,具有与微型计算机进行数据传输的功能。即在这台扫描光谱仪上,展示了多元线性回归分析方法在提取组分相关光谱信息方面的优势,这台仪器成为后来近红外光谱分析仪器发展的雏形。
粮食水分近红外分析仪的研制成功和广泛应用是近红外分析技术发展的里程碑。水存在于任何生物中且比例较大,而水的近红外吸收光谱特征强,吸收强度高,其倍频和合频吸收带相互分离,光谱分辨率高,因此近红外水分分析仪的分析性能相对稳定,准确度高,在近红外光谱分析仪器家族中最早得到农业和工业的认可。但事物总是有两面性,OH在水中的强吸收特性对物质中其他成分的光谱分析和含量测定有很强的干扰作用。如何消除吸湿与其他成分的干扰成为近红外光谱分析中的一个关键问题,相关光谱定标分析方法的提出有效地解决了这一问题。Shenk、Hoove、McClure和Hamid在Norris的领导下,于20世纪70年代设计并完成了可用于饲料和烟草成分定量分析的近红外光谱分析仪。
基于前人总结的近红外光谱分析技术的积累经验和仪器开发技术的成熟,许多公司(如Dickie-John、Bran Leubbe和Technicon)都加入了近红外分析仪器的商业化队伍,其中Dickie-John生产了世界上第一台商用滤光片式近红外光谱仪。Bran Leubbe生产了世界上第一台商用光栅扫描近红外光谱仪,世界上第一台商用近红外Neotec公司的1971谷物品质分析仪进入市场,在整个农业领域的各种应用中普及了近红外分析技术,使该技术在农业应用领域进入了成熟阶段。1975加拿大谷物委员会加拿大食品委员会接受近红外法作为小麦蛋白质测定的官方方法1984美国公共分析师协会(AOAC) #989.03:NIR成为饲料中分析蛋白质、酸洗纤维、中性洗涤纤维的标准方法。在近红外仪器技术和校准技术的发展中,许多难题被一一解决,包括仪器本身的工作稳定性、待测样品的理化特性对校准模型的影响、样品制备的影响、环境因素(如温度、湿度、环境光、振动等)等。),等等。这些问题通过大量的实验和应用讨论得到了满意的解释。1994一种新的标定方法:人工神经网络技术——求解非线性。1995NIRSystems介绍了一种基于数字信号控制的全息光栅DDS系统。
在20世纪80年代以前,虽然近红外分析仪利用多元线性回归技术建立的校正模型在农业应用领域取得了令人满意的结果,但仍然迫切需要合理解释多元回归变量如何完成待测组分的近红外光谱吸光度数据与参比化学数据之间的相关性计算,各光谱变量与待测组分之间的特征关系,以及样品粒度和散射影响造成的不稳定性。长期以来,虽然近红外分析仪器的分析性能在农业领域得到了认可,但无论是研究人员还是用户,都将近红外分析技术视为一种相对成型的“黑箱”技术。直到20世纪80年代多元统计变量法(化学计量学)被发展并引入近红外光谱分析校正技术,近红外分析技术才真正实现了校正理论与实践的统一,促进了这一技术与化学计量学的并肩发展,因此80年代被称为“化学计量学时代”。
在此期间,掀起了利用化学计量学进行数据预处理实现近红外光谱分析和校正模型优化的高潮,主要针对样品粒度、堆积密度等因素造成的散射问题。Ian Cowe和Jim McNicol首先将主成分回归分析方法应用于近红外光谱的数据降维和压缩,以实现校正模型的稳定性。通过优化回归主因子,消除了不可测因素(如粒度和分布)和非线性因素的影响,取得了较好的效果。同时,令他们惊讶的是,稳定定标模型中使用的主要因素与待测组分的主要近红外光谱吸收有很强的对应关系,可以对定标模型的合理性给出满意的解释。
Kawalski和他的研究生首先将偏最小二乘回归技术应用于光谱技术,但直到近几年这项技术才在近红外分析技术中得到应用和推广。化学计量学经过理论和实践的并行发展,已经形成了一个比较完整的体系,主要分为定性和定量分析模块,H.Mark等人对此进行了详细的论述。这一时期化学计量学在近红外领域的应用和讨论主要集中在以下几个方面:
1)多变量非线性校正模型采用人工神经网络、局部加权回归等非线性回归校正方法。
2)最佳校准样本集的选择方法。
3)基于小波变换数据压缩技术的大样本集探讨。
4)偏最小二乘回归与其他因子回归方法在最佳因子数选取原则上的比较。
5)校准波长通道的优化。
6)同类型仪器校准模型的传递。
随着化学计量学技术在近红外光谱分析领域的不断发展,研究人员可以更准确地掌握近红外光谱的吸光度信息与物质的化学成分信息之间的线性相关性,虽然化学计量学方法本身的改进并没有大大提高定量分析结果的准确性。
随着光学技术、电子技术、硬件技术以及计算机和软件技术的不断进步,近红外光谱分析仪的性能也有了很大的提高。高信噪比的傅里叶变换光谱分析仪和光栅扫描光谱分析仪已研制成功并进入仪器市场,而滤光型近红外分析仪的发展已进入成熟阶段,成为近红外仪器中的主流产品。同时,近红外光谱分析技术在除农业以外的其他领域(如纺织、化工、制药、造纸等)也进入了实际应用阶段。),特别是在工业现场分析、在线质量监测等方面,显示了其独特的优势。20世纪90年代,出现了许多基于不同光谱原理的新型近红外分析仪器,如二极管阵列、声光调制、成像光谱等。这些仪器在快速现场实时测量方面具有良好的发展潜力,是当代近红外光谱分析仪器发展的典型代表。
经过近半个世纪的发展,近红外光谱技术已经成为新世纪最有前途的分析技术之一。许多国家建立了专门的科研力量,研发相关应用领域的仪器设备,降低仪器成本并保持足够的分析性能成为近红外仪器研发的主导方向。欧洲许多发达国家已将该技术作为许多领域评价工业产品质量的标准技术,几乎完全取代了以前广泛使用的化学分析方法,在生产效率和产品质量方面取得了良好的效果。
我国的近红外光谱研究起步较晚。20世纪80年代后期,长春光机所承担了国家粮食局下达的“八五”科技攻关项目,研制成功了滤光式饲料近红外分析仪。在随后的十年里,它又相继研制出滤光型近红外分析仪,可以分析玉米、小麦、大豆等粮食作物。目前从事人参、人体血糖、煤炭、蜂蜜、茶叶的研究和仪器开发。
同时,我国研制了光栅扫描近红外分析仪,用于石油化工领域石油组分的快速定量检测,并取得了可喜的成果。国内近红外光谱分析技术的研究已经比较成熟,估计未来几年内将完成近红外分析仪器在各个领域的应用和普及。