水稻(Oryza sative L.)是我国最重要的粮食作物, 其种植面积及产量水平显著影响我国粮食产量安全^[1]。传统水稻的稳定高产在很大程度上来源于广大稻农精耕细作的支撑, 但随着农村劳动力转移、农村劳动力老龄化、水稻传统生产效率降低以及农村土地流转, 亟需以规模化经营和科技装备为我国水稻持续增产提供新动力^[1-3]。研究表明, 监测水稻冠层能获取大量的水稻生长信息, 包括生长动态、叶面积指数、生物量、氮素营养状态、开花动态以及病虫害状况^[4-9], 可为规模化水稻的自动化耕作管理提供参数指导。贾良良等^[9]和李岚涛等^[10]认为, 基于水稻冠层图像的数字图像色彩分析技术在水稻氮素营养诊断及氮肥推荐施肥上具有应用潜力。Lee等^[7]研究发现, 通过水稻冠层图像获取的作物冠层覆盖度与水稻叶面积指数、地上部分生物量和氮累积量均有很好的相关性, 因此, 他们认为水稻冠层图像分析技术可为水稻生长智能化管理系统提供技术支撑。

水稻冠层图像的智能化应用须以水稻目标图像的准确识别及分割为前提。基于红绿蓝(RGB)色彩的绿度/超绿特征差异是实现绿色作物图像分割的常用方法, 并发展出了超绿特征指数(ExG)、超红特征指数(ExR)、植被提取指数(CIVE)、超绿减去红特征指数(ExGR)、绿叶指数(VEG)等多种增强型光谱指标以优化图像分割效果^[11-14]。但是, 在田间作业条件下, 水稻冠层图像的RGB颜色特征显著受光强影响, 基于RGB颜色特征的分割方法的稳健性和精确度较低^[13]。刘亚东等^[15]发现, 基于CIEL^*a^*b^*色彩空间的a^*色彩参数Otsu法的冬小麦冠层图像分割精度较高。方伟等^[5]通过HSL色彩模型, 应用阈值法实现盆栽水稻图像精确分割。Wang等^[16]研究发现, CIEL^*a^*b^*色彩空间的a^*、b^*色彩参数和HSV空间的H(色调)色彩指标与水稻冠层叶绿素含量均有一定相关性。CIEL^*a^*b^*和HSV色彩空间将色彩属性从光强属性中独立出来, 可以在一定程度上降低野外多变光强环境的影响^[17]。因此, 有研究者试图将RGB、CIEL^*a^*b^*和HSV色彩空间中各种色彩指标进行一定的权重加和, 提高图像分割方法的光稳健性^[18]。但由于水稻冠层图像显著受光强、长势、生育期、品种等多种因素影响, 固定的权重加和方法不能适应多变的野外光强环境和水稻生长环境。支持向量机(Support Vector Machines, SVM)是一种监督式学习的机器学习分类器, 通过寻求结构化风险最小化以提高分类器的泛化能力; 且在训练样本较小的情况下, 亦能获得较稳健的学习分类器, 在图像分割领域广泛应用^{[12, 19-21]}。目前, 基于SVM的作物图像分割方法只针对单一的RGB、CIEL^*a^*b^*和HSV色彩空间, 基于多色彩空间和支持向量机的图像分割方法在水稻冠层图像分割上的应用尚鲜见报道。本研究拟构建基于RGB、CIEL^*a^*b^*和HSV色彩空间的参数集合, 并采用支持向量机学习算法对水稻冠层图像进行学习识别, 比较不同分割方法的光强稳健性和精确度, 确定较优分割方法, 为水稻冠层数字图像分析技术提供技术支持。

1 材料与方法 1.1 试验区概况

试验区位于广东省江门市台山市都斛镇(112°58′10″E, 22°05′20″N), 研究区域地处广东省西南部, 属亚热带海洋性季风气候, 年平均气温21.8 ℃, 年均降雨量1 936 mm, 无霜期在360 d以上。该区域地势平坦, 属滨海三角洲平原, 为典型双季稻产区, 每年分别于3月上旬和8月上中旬进行早、晚稻插秧。试验区设定在具有代表性的较大片农田之中, 土壤属于壤质黏土, pH 5.78, 有机质含量40.86 g·kg^-1, 碱解氮160.57 mg·kg^-1, 有效磷18.96 mg·kg^-1, 有效钾230.67 mg·kg^-1。试验区种植水稻品种为‘新宁丝苗’和‘泰丰优208’。

1.2 水稻冠层图像采集

于2016年8月11日—9月25日进行多次水稻冠层图像采集。水稻冠层图像采用1 230万有效像素的数码彩色相机(Nikon D90)进行拍摄, 选用光圈优先模式, 设定ISO感光度为自动, 自动白平衡, 自动曝光, 多点自动对焦, 同时关闭闪光灯。使相机镜头统一距水稻冠层顶部1.5 m, 相机垂直向下拍摄, 相片分辨率为4 288×2 848, 以JPEG格式储存。考虑了不同光强环境对水稻冠层图像的影响, 本文在阴天、多云、晴天条件下随机拍摄水稻冠层图像共计90幅, 每个气候条件下的水稻冠层图像各30幅。

1.3 基于多色彩空间和支持向量机的水稻冠层图像分割

水稻冠层图像中目标像元(水稻)和背景像元(土壤和水等)的RGB颜色差异明显, 但田间多变的光强条件显著影响RGB颜色属性, 从而影响图像分割方法的稳健性和准确度。为降低光照条件对分割精度和稳健性的影响, 本文通过引进颜色属性和光强属性独立的CIEL^*a^*b^*和HSV色彩空间, 构建基于RGB、CIEL^*a^*b^*和HSV色彩空间的水稻冠层图像色彩特征集合, 然后采用支持向量机学习提取水稻冠层图像的分类信息, 最后分析了基于多色彩空间和支持向量机的水稻冠层图像分割方法的准确度和光强稳健性。

1.3.1 训练数据

训练数据显著影响支持向量机分类器的精确度和稳健性, 因此, 本文选取了阴天、多云、晴天3种不同光照强度条件下的代表性水稻冠层图像各1幅作为训练图像, 其平均光强强度L分别为47.42、61.08和82.76, 光强跨度大, 基本满足样本图像的代表性要求。然后, 从样本图像中随机选取目标像元和背景像元的区域构建训练数据集, 并使选取的训练图像尽量覆盖原始图像的各种光照强度。

水稻冠层图像中的目标像元(水稻)与背景像元(土壤和水)的颜色对比显著, 同时, 为了提高分割方法对光强的稳健性, 本文引进了将光强属性和色彩属性独立的CIEL^*a^*b^*和HSV色彩空间作为色彩特征对水稻冠层图像进行监督式学习分割。CIEL^*a^*b^*色彩空间是CIE组织确定的一个理论上包括了人眼可见的所有色彩的色彩模式, 包含3个色彩维度: L^*(颜色的亮度, L^*=0黑色, L^*=100白色)、a^*(红/绿色彩通道的位置, a^*负值指示绿色, 正值指示品红)、b^*(黄/蓝色彩通道的位置, b^*负值指示蓝色而正值指示黄色), 可由RGB参数换算^[22-23]。HSV颜色模型是由Smith在1978年创建的一种颜色空间, 包含3个色彩维度: H(色调)、S(饱和度)和V(亮度), 该色彩空间是模拟人眼视觉系统对色彩的感知特性进行色彩描述的, 更接近于人眼对色彩差异性的感知^[24-25]。

从图 1可知, 同一光强条件下水稻和背景像元的G、a^*、H和V色彩参数具有相对明显的双峰性特征, 但是, 晴天条件下水稻像元的G和a^*色彩参数与晴天、多云和阴天条件下土壤像元的混合度依然很高, 晴天条件下土壤像元的H色彩参数与晴天、多云和阴天条件下水稻像元的重叠度也很高, 不同光强下水稻和背景像元的V色彩参数呈现多峰分布特征, 无法有效区分不同光强条件下的水稻和土壤像元。阴天条件下水稻和背景像元的b^*色彩参数具有明显的双峰性, 但晴天和多云条件下水稻和土壤像元的b*色彩重叠度达到了50%以上。晴天条件下水稻和背景像元的R色彩参数具有较高的辨识度, 但多云和阴天条件下水稻和土壤像元的R混合度也较高。水稻和土壤像元的B、L^*和S色彩参数交叉性大, 辨识度低。综上可见, 基于单一色彩参数无法有效区分不同光强条件下的水稻和背景像元, 因此, 本文试图构建多色彩空间参数集, 以提高田间水稻冠层图像分割方法的光强稳健性和精确度。

图 2展示了从训练图像中获取目标像元和背景像元的色彩特征数据, 并构建训练数据集的过程。参照Guo等^[17]的方法采用图中的白色或者红色方框(方框大小为5像素×5像素)从3副不同光强条件下的训练图像中采集水稻冠层图像中的水稻和背景图像, 并将其类别定义为水稻和背景。首先, 将晴天、多云和阴天条件下获取的训练图像九等分得到9张九等分图, 然后, 应用采样框分别从每张九等分图像中人工随机采集水稻和背景像元各10组, 使采样框尽量覆盖每张九等分图的各个方位, 以保证采集的训练数据集能够较好地代表训练图像的各个光强条件, 共采集晴天、多云和阴天条件下的水稻和背景各2 250(90组×25像素)训练图像像素。然后计算所采集的水稻和背景图像中每一个像元的RGB色彩信息, 和CIEL^*a^*b^*色彩空间的L^*、a^*、b^*色彩参数和HSV色彩空间的H、S、V色彩参数, 最后构成基于多色彩空间的水稻冠层图像训练数据集。

1.3.2 支持向量机图像分割

支持向量机是Cortes等^[26]于1995年提出的基于统计学习理论的一种机器学习方法, 通过核函数将训练数据中的所有色彩特征变量映射到高维空间, 然后构造超平面f(x), 寻求将水稻像元和背景像元之间的间隔最大的超平面, 实现图像分割效果最优化^[27]。常用的SVM核函数主要有:线性函数、多项式函数、径向基函数和Sigmoid函数。因线性核函数的计算速度最快, 且在图像分割中均表现出较好的结果, 因此本文采用线性核函数对训练数据中的各种色彩特征变量进行训练学习^[27]。然后, 通过Karush-Kuhm-Tucke (KKT)和拉格朗日乘子法求解最优化分割超平面, 其计算函数为:

$ f\left( x \right) = {\rm{sgn}}\left[ {{\sum _{\left( {i = 1, \ldots ,n} \right)}}{a_i} \times {y_i} \times k\left( {{x_i},x} \right) + {\rm{b}}} \right] $

(1)

式中: a_i为拉格朗日乘子, y_i为水稻冠层图像中的目标像元和背景像元, k(x_i, x)为核函数, b为阈值。本文分别以R、G、B、L^*、a^*、b^*、H、S、V色彩特征作为自变量, 水稻和背景像元作为因变量, 采用R软件中的e1071包中的linear kernel函数对训练数据集进行训练和分类。基于R、G、B, L^*、a^*、b^*, H、S、V和R、G、B、L^*、a^*、b^*、H、S、V作为自变量参数训练的SVM分割模型, 其分割方法分别定义为rgb-SVM、lab-SVM、hsv-SVM和Multi-SVM算法。

1.3.3 基于多色彩空间和支持向量机的图像分割精确度评价

为了验证本文方法在稻田多变光强条件下的分割精度及稳健性, 以阴天、多云、晴天条件下获取的水稻冠层图像各30幅作为测试样本, 采用Photoshop图像处理软件对其进行人工分割得到标准图像, 然后采用本文所提的基于多色彩空间和支持向量机的图像分割方法对图像进行分割, 计算分割结果与标准图像间的误差。分割误差为假正率(FPR)和假负率(FNR)之和, 其中FPR和FNR的计算公式分别为:

$ {\rm{FPR}} = {\rm{FP}}/\left( {{\rm{FP}} + {\rm{TN}}} \right) $

(2)

$ {\rm{FNP}} = {\rm{FN}}/\left( {{\rm{TP}} + {\rm{FN}}} \right) $

(3)

式中: TP为模型将水稻像元判别为水稻像元, TN为模型将背景像元判别为背景像元, FP为模型将背景像元误判为水稻像元, FN为模型将水稻像元误判为背景像元。同时采用最常用的绿色植物图像分割方法——超绿特征阈值分割(ExG & Otsu)法对水稻冠层图像进行分割, 比较本文方法的分割准确度和稳健性。

同时, 计算了每一种分割方法后水稻冠层图像的冠层覆盖度(canopy coverage degree, CCD), 比较不同分割方法计算所得的冠层覆盖度与人工分割方法的差异性, 其计算公式如(4)所示。并计算不同分割方法分割结果的Kappa系数(用K表示), 以评价其分割结果的一致性。

$ {\rm{CCD}} = 分割图像中水稻像元数/冠层图像总像素数 $

(4)

$ K = ({P_0} - {P_c})/(1 - {P_c}) $

(5)

式中: P₀=S/n, P_c=(a1×b1+a0×b0)/(n×n), S为不同分割方法的分割图像与人工分割图像相同的像元数, n为水稻冠层图像总像素数, a1、a0分别为人工分割图像中水稻和背景像元的像元数, b1、b0分别为分割方法所获得的分割图像中水稻和背景像元的像元数。

2 结果与分析 2.1 图像分割效果评价

以阴天、多云、晴天条件下获取的各30幅水稻冠层图像作为测试图像, 采用rgb-SVM、lab-SVM、hsv-SVM、Multi-SVM和ExG & Otsu分割方法对其进行分割。从分割结果可见(图 3), 当光强较弱时(阴天), 超绿特征ExG & Otsu分割方法的分割效果较好; 但光强较强的条件下(多云和晴天), ExG & Otsu分割方法存在严重的欠分割现象, 将水稻像元误判为背景像元, 其分割结果的冠层覆盖度显著低于实际数值。同样都是基于RGB色彩空间的rgb-SVM分割方法的分割效果优于ExG & Otsu分割方法, 且对阴天条件下水稻冠层图像的分割效果优于lab-SVM和hsv-SVM分割方法; 但该方法仍无法分辨强光照条件下反光的水稻叶片, 将其误判为背景像元。基于CIEL^*a^*b^*色彩空间的lab-SVM分割方法对不同气候条件下水稻冠层图像的分割效果均较优, 其光强稳健性较高, 但分割精确度较低, 存在一定的欠分割现象。hsv-SVM分割方法也存在一定的欠分割现象, 尤其对多云和晴天条件下的水稻冠层图像欠分割现象更明显。Multi-SVM对阴天、多云和晴天条件下获取的水稻冠层图像均能实现较好的分割效果, 其计算所得的冠层覆盖度与实际数值最接近, 明显优于ExG & Otsu分割方法, 以及基于单一色彩空间的支持向量机图像分割方法。

2.2 水稻冠层图像分割结果定量评价

为了验证基于不同色彩空间的支持向量机对不同光强下获取的水稻冠层图像的分割效果, 以人工分割的水稻冠层图像作为标准, 计算rgb-SVM、lab-SVM、hsv-SVM、Multi-SVM和ExG & Otsu分割方法的分割误差和Kappa系数, 包括假正率和假负率, 也就是将背景像元误判为水稻像元的比率和将水稻像元误判为背景像元的比率, 其结果如表 1所示。各种分割方法对阴天条件下获取的水稻冠层图像的分割误差均较低且Kappa系数较高, 其中基于Multi-SVM分割方法的分割误差最低, 分割效果最好; 其次是rgb-SVM分割方法。对多云条件下获取的水稻冠层图像的分割结果中, ExG & Otsu、lab-SVM和hsv-SVM分割方法的分割误差均超过10%, 其中ExG & Otsu的假负率大幅度提高, 其Kappa系数低于0.50, lab-SVM分割方法的假负率也显著提高, hsv-SVM分割方法的假正率和假负率均较高; rgb-SVM分割方法的假负率也提高到5.05%, 但其分割误差相对较低; Multi-SVM分割方法的分割误差最低, 仅为3.28%, 分割效果最好。对晴天条件下获取的水稻冠层图像的分割效果中, ExG & Otsu分割方法的假负率进一步提高, 超过50%以上, Kappa系数低于0.19, rgb-SVM和hsv-SVM分割方法的分割误差也均超过10%, 而lab-SVM分割方法的分割误差反而仅为6.09%; Multi-SVM分割方法的分割误差最低, 仅为3.95%, 其Kappa系数也保持在0.89。

绿色植物存在绿光波段的反射峰和红、蓝光吸收谷, 而土壤在红光的反射率较大^[15], 因此, rgb-SVM分割方法对水稻冠层图像的分割精确度相对优于lab-SVM和hsv-SVM分割方法。为了扩大水稻像元和背景像元的差异度, 大量研究者构建了各种色彩指数以提高绿色作物图像的分割效果, 其中以超绿特征指数ExG的Otsu分割方法应用最广泛^{[11, 28-30]}。本文结果表明, rgb-SVM分割方法的分割效果明显优于ExG & Otsu分割方法。但基于RGB色彩空间分割方法的分割效果显著受光强条件影响, 该结果与前人研究结果一致^{[8, 18]}。为了提高分割方法的光强稳健性, 本文通过引进CIE L^*a^*b^*和HSV色彩空间, 形成了基于多色彩空间的支持向量机分割方法(Multi-SVM分割方法)。该分割方法对不同光强下获取的水稻冠层图像的分割效果均最佳, 具有优越的分割精确度和光强稳健性。

3 结论

针对田间多变光强条件下获取的水稻冠层图像, 本文提出了基于多色彩空间(包括RGB、CIE L^*a^*b^*、HSV色彩空间)和支持向量机的水稻冠层图像分割方法。选取了阴天、多云和晴天3种不同光强下实地获取的广东省台山市水稻种植区水稻冠层图像作为分割样本, 采用本文提出的分割方法对其进行自动分割, 从分割效果、假正率、假负率、分割误差和Kappa系数5个方面对基于不同色彩空间SVM分割方法进行比较。试验结果表明, 基于rgb-SVM分割方法的分割效果优于ExG & Otsu分割方法, 但强光条件下获取的水稻冠层图像的分割误差仍较大, 光强稳健性低; 基于lab-SVM和hsv-SVM分割方法的分割结果中均存在较大的欠分割现象, 分割精确度较差; 基于Multi-SVM分割方法对各种光照条件下获取的水稻冠层图像的分割效果均最好, 其分割误差均在4.00%以内, 具有显著的光强稳健性。