Desarrollo de un módulo para la anotación automática de parcelas agrícolas mediante técnicas de minería de datos

Descripción del Proyecto

Actualmente no es posible explotar toda la información contenida en la ingente cantidad de imágenes de satélite disponibles. Es necesario automatizar los procesos de estructuración y recuperación de la información contenida en ellas. En todo este proceso, la anotación de las imágenes es un paso crítico, ya que dado su volumen, hacerlo de forma manual es totalmente inviable. Por lo que son necesarios métodos que permitan su anotación de forma automática. En este proyecto se propone desarrollar un módulo que de forma automática delimite las diferentes parcelas agrícolas presentes en una imagen de satélite y las anote con conceptos semánticos sencillos pero de enorme interés para el manejo y la gestión de los cultivos de dichas parcelas. Para la identificación de las parcelas se desarrollará un algoritmo de segmentación adaptado a las características del problema y los modelos para la anotación automática se desarrollarán mediante técnicas de Active Learning. Este módulo se incluirá en una plataforma web previamente desarrollada, la cual permite que diferentes usuarios puedan trabajar de una forma cooperativa, añadiendo conocimiento al sistema mediante un módulo de anotación manual. A partir de este conocimiento se va a realizar la generación de los modelos para la anotación automática de las imágenes.

Participantes

Universidad Politécnica de Madrid

  • Dra. Consuelo Gonzalo Martín (Coordinadora)
  • Dra. Ernestina Menasalvas Ruiz
  • D. Ángel M. García Pedrero (Estudiante de Doctorado)
  • D. Rubén Galeano (Estudiante de Doctorado)

Universidad de Concepción

  • Dr. Mario F. Lillo Saavedra (Coordinador)
  • Dr. Octavio Lagos Roa
  • D. Camilo Souto (Estudiante de Doctorado)

Antecedentes

Antecedentes del grupo Investigador

El proyecto matriz, dentro del cual se enmarca esta solicitud, es: Water Research Center for Agriculture and Mine (FONDAP 15130015, FONDO DE FINANCIAMIENTO DE CENTROS DE INVESTIGACIÓN EN ÁREAS PRIORITARIAS). En dicho proyecto, liderado por la Universidad de Concepción (Chile), participan además otras 2 universidades Chilenas (U. De la Frontera y U. Del Desarrollo) y 13 instituciones internacionales entre las que se encuentra la UPM. El objetivo global del proyecto es resolver problemas de Recursos Hídricos en la Agricultura y la Minería a través de la Formación de Recursos Humanos, Investigación, Desarrollo e Innovación. Este proyecto tiene una duración de 5 años (2013-2018) y una financiación de 9.000.000 €.

Además, el proyecto objeto de esta solicitud se basa en los resultados obtenidos en los proyectos AL13-PID-07 y AL15-PID-25, desarrollados por el mismo equipo investigador. En concreto en el proyecto AL13-PID-07 se creó un modelo de datos para poder ordenar y almacenar toda la información estructurada y se implementó una BD que permitía almacenar, consultar, relacionar y visualizar (en el caso de las imágenes) los datos preprocesados; y en el proyecto AL15-PID-25 se ha desarrollado una plataforma web para la anotación semántica de imágenes de satélite. De esta forma se han sentado las bases, para estructurar la información contenida en las imágenes de satélite y de esa forma poderla incluir en un proceso de Data Mining, utilizando técnicas propias de este área.

La colaboración entre la Escuela Superior de Ingenieros Informáticos de la Universidad Politécnica de Madrid y el Departamento de Mecanización y Energía de la Universidad de Concepción (Chile), tiene su origen en el año 2002, siendo los hitos mas destacables de esta colaboración:

  • Realización y defensa de la Tesis titulada: Diseño, evaluación y aplicación de nuevas estrategias para la fusión de imágenes de satélite por el Dr. Mario Lillo Saavedra, bajo la dirección de la Dra. Consuelo Gonzalo Martín (febrero 2005).
  • Participación conjunta en 14 proyectos de Investigación financiados.
  • Divulgación conjunta
  • Convenio de movilidad de estudiantes de Doctorado entre ambas universidades.
  • Movilidad de estudiantes y profesores entre los dos centros.
  • Codirección de Tesis doctorales y de Máster.
  • En el año 2015, la Dra. Consuelo Gonzalo ha sido investida como Visita Distinguida de la Universidad de Concepción, máxima distinción que esta Universidad otorga a profesores externos, en reconocimiento a sus contribuciones a la Facultad de Ingeniería Agrícola de esta Universidad durante más de una década de colaboración.

La formación y experiencia del conjunto de los miembros del equipo investigador de este proyecto cubren las diferentes áreas científicas y técnicas implicadas en el mismo.

El procesado de imágenes de satélite es una de las principales líneas de investigación de algunos de los miembros del grupo. Entre los resultados mas notables, de esta línea de investigación, cabe señalar la propuesta y publicación de nuevos algoritmos de fusión basados en diferentes transformadas multidireccionales y multiescalares, así como en el concepto de dimensión fractal (Lillo-Saavedra&Gonzalo, 2005, 2006, 2007 y 2011; Gonzalo&Lillo- Saavedra, 2008). Además, estos miembros del equipo investigador han promovido, organizado y participado en la celebración de las I y II Jornadas de Fusión de Imágenes de Satélite, auspiciadas por la Asociación Española de Teledetección y celebradas en abril de 2007 en la Facultad de Informática de la Universidad Politécnica de Madrid y en la Escuela de Ingenieros Agrícolas de la Universidad de Navarra en junio de 2008, respectivamente. Por otro lado cabe señalar el desarrollo de una herramienta de libre distribución, IJfusion (http://www.ijfusion.es), que soporta todos los algoritmos de fusión desarrollados por el grupo, así como otros de uso común por la comunidad científica. Más recientemente las investigaciones de este grupo se han orientado al procesado de imágenes basado en objetos (OBIA) (Gonzalo-Martín & Lillo-Saavedra 2012a, Gonzalo-Martín et al 2012b, Lillo-Saavedra &Gonzalo-Martín 2012, Quintana-Sotomayor et al. 2012), siento este el tema central del trabajo de Tesis Doctoral de D. Ángel Mario García Pedrero, estudiante de Doctorado del Programa con Mención Hacia la Excelencia en Computación Avanzada para Ciencias e Ingenierías de la UPM y co-dirigida por la Prof. Gonzalo y el Prof. Lillo. Como resultado de estos trabajos, ya hay varias publicaciones en congresos internacionales y 3 artículos en revistas indexadas en el JCR.

La Dra. Consuelo Gonzalo, IP de esta solicitud es especialista en Procesado y Análisis de Imágenes. Sus investigaciones han dado lugar a 32 artículos de revistas de los cuales 14 están indexados en el JCR (5 T1, 6 T2 y 3 T3), 1 en el SJR y 16 de las 17 restantes en Base de Datos de reconocido prestigio como son EI (INSPEC, IET), Google Scholar, DOI, Engineering & Technology Digital Library, ProQuest, Electronic Journals Library, Scielo, entre otras. Además ha sido autora de 4 capítulos de libro. Cuenta con un total de 339 citas, de acuerdo a los datos recogidos en Google Académico, 183 de las cuales han sido en los últimos 5 años. El 94% de las citas se concentran en 4 publicaciones.

La Dra. Menasalvas es profesora de asignaturas relacionadas con el diseño de Bases de datos, su implementación y la extracción de datos, en las distintas titulaciones actualmente impartidas en la Escuela Superior de Ingenieros Informáticos, además es la Investigadora Principal del grupo de investigación (UPM-Consolidado) MIDAS cuyo objetivo es el análisis de datos multidominio. La Dra Menasalvas cuenta con una experiencia de más de 20 años en técnicas de Data Mining. Área en la que cuenta con 26 artículos indexados en bases de datos de reconocido prestigio con una distribución de 13 del primer tercil, 11 en el segundo tercil y 2 en el tercer tercil. También cuenta con 13 artículos presentados en las series Lectures Notes (en el periodo en el que Lectures Notes estaba indexada ) y 3 publicaciones indexadas en SJR. Además es autora de 6 capítulos de libro, revistas de reconocimiento internacional no indexadas y presentación de ponencias en más de 40 congresos internacionales.

En cuanto a los temas relacionados con la aplicación final (agricultura), se cuenta con la participación del Dr. Lagos, quien realizó su tesis doctoral, titulada: A modified surface energy balance for modelling evapotranspiration and canopy resistance, en la Universidad de Nebraska, USA. Además se han publicado una serie de artículos en revistas de carácter internacional. El Dr. Lagos han participado en un elevado número de trabajos de consultoría en riego para el sector agrícola, en Chile y América Latina.

A parte de los aspectos técnicos y científicos, otra razón para incorporar en el grupo investigador a tres estudiantes de doctorado ha sido dinamizar el convenio de intercambio de estudiantes de doctorado entre las dos universidades.

Antecedentes Técnicos

El objetivo del proyecto es desarrollar un módulo para la anotación automática de parcelas agrícolas mediante técnicas de minería de datos.

La disponibilidad de una gran número de imágenes anotadas es una primera y fundamental etapa hacia la interpretación semántica de estas imágenes, lo que permitirá realizar consultas semánticas que ayudarán a la búsqueda, recuperación de la información y la posterior toma de decisiones relacionadas con la gestión agrícola.

El término datos geoespaciales se refiere a todo tipo de datos sobre los objetos y fenómenos que están asociados con las características espaciales y que los referencia en alguna ubicación de la superficie de la Tierra (Macario y Medeiros, 2009). Algunos ejemplos de este tipo de datos son: información sobre el clima, el suelo y la temperatura, cantidad de radiación, riego de un predio, así como mapas, imágenes satelitales.... Estos datos son la base para la toma de decisiones en una amplia gama de dominios, en particular la agricultura. Su uso combinado es muy útil para responder a preguntas que permitan determinar, por ejemplo en el caso de la agricultura de riego, ¿dónde, cómo, cuándo y cuánto es recomendable regar? Poder dar una respuesta fiable a este tipo de preguntas, permitirá mejorar la eficiencia del uso del agua para riego, así como la eficiencia en el uso de la energía consumida y la rentabilidad de las explotaciones en el sector agrícola irrigado. De forma genérica, resulta prioritario optimizar el uso de los recursos implicados en las explotaciones agrícolas (agua, energía, fertilizantes, ...). Ya se dispone de grandes volúmenes de datos estructurados, obtenidos a partir de los modelos de manejo en agricultura, así como de la integración de información espacialmente distribuida para poder llevar a cabo la gestión de forma adecuada; sin embargo, para llegar a una explotación eficiente de estos datos, es necesario llevar a cabo investigaciones y los desarrollos tecnológicos asociados, en dos líneas principales, la transformación de los datos en información relevante para distintos perfiles de usuarios y la accesibilidad a esta información de forma asertiva y en el momento adecuado.

El almacenamiento de los datos estructurados, así como la información derivada de ellos, en una BD para su posterior consulta y extracción de conocimiento, es un tema bien definido y resuelto. No lo es tanto cuando se trabaja con datos no estructurados como es el caso de la información semántica contenida en imágenes (Barnard y Forsyth, 2001). Los seres humanos reconocemos imágenes basándonos en conceptos de alto nivel o en otras palabras, interpretando conceptos. Somos capaces de reconocer una casa, un barco, ...o en términos agrícolas, un cultivo hilerado, una determinada forma de riego, o una zona mal regada. Dado el “gap” existente entre las características de bajo nivel de una imagen (formas, texturas, colores, ... ), fácilmente identificables mediante procesos automáticos y los conceptos reconocidos por un interprete humano, la forma habitual de incluir este tipo de información en una BD es mediante la anotación manual del contenido de las imágenes, realizadas por un operador, normalmente experto en el dominio asociado al tipo de imagen. Sin embargo, las anotaciones realizadas por humanos suelen ser subjetivas y ambiguas, además de costosas, debido al entrenamiento requerido para poder llevarlas a cabo, así como por la dedicación que implican y el enorme volumen de imágenes actualmente disponibles. Una solución a este problema es la anotación semi-automática y automática de imágenes, la cual se basa en técnicas de aprendizaje automático que establecen la correspondencia entre las características visuales y la semántica de las imágenes. Es decir, los sistemas de anotación de imagen permiten reconocer o clasificar las características visuales en algunas clases predefinidas (P. Duygulu et al., 2002).

Algunas de las técnicas clásicas propuestas para la anotación automática de imágenes son: el modelo de coocurrencia (Mori, Y. Et al., 1999), cuyo mayor inconveniente es que suele requerir un gran número de muestras de entrenamiento para estimar la probabilidad correcta y también tiende a asignar palabras frecuentes para cada uno de los elementos o regiones identificados en la imagen y con contenido semántico. Duygulu et al (2002) proponen utilizar su “Traslation Model” para etiquetar las distintas regiones de la imagen. Picard y Minka (1995) describen una herramienta para que los usuarios realicen una anotación semi-automática de las regiones de una imagen, mediante la selección de ejemplos positivos y negativos de forma manual y luego usando una medida de similitud de textura para generalizar las anotaciones. Barnard y Forsyth (2001), partiendo del modelo jerárquico de Hofmann para textos (Hofmann, 1998), propusieron un modelo jerárquico multimodal para la agrupación jerárquica de las imágenes y las palabras. Blei y Jordania (2003) extendieron el modelo “Latent Dirichlet Allocation” (LDA) y propusieron un modelo de correlación para relacionar palabras con las imágenes. La mayoría de estas investigaciones se centra en la anotación de contenido textual, sin tener en cuenta las cuestiones espaciales. De forma que la descripción espacial se suele insertar manualmente. Además, la mayoría de los enfoques no dirigen su investigación hacia un dominio específico, como puede ser la anotación de imágenes de satélite. En este área existen algunos trabajos mas recientes. Parulekar et al. (2005) proponen un método para determinar las categorías semánticas de los conceptos presentes en las imágenes y objeto de las consultas. La caracterización semántica se lleva a cabo mediante un proceso de aprendizaje basado en un modelo oculto de Markov 2-D y jerárquico. (Macario Y Medeiros, 2009) propusieron un “framework” para abordar problemas de interoperabilidad mediante la anotación semántica de imágenes de satélite en el ámbito de la agricultura. Y (Forestier et al., 2012) propusieron un método para modelar y utilizar el conocimiento proporcionado por un experto para la posterior interpretación de imágenes de satélite de zonas costeras.

A pesar de todos estos esfuerzos, el problema de la anotación automática de imágenes sigue siendo un problema abierto, principalmente debido a lo que se conoce como el “gap semántico” (Tang et al. 2012). Una posible solución es la participación y “feedback” de los usuarios mediante las técnicas conocidas como “Active Learning” (AL) o Aprendizaje Activo.

El AL tiene como objetivo seleccionar activamente las muestras más representativas de los conceptos/ideas/clases para que el usuario las evalúe (Huang et. Al , 2008).

Un esquema de AL típico consta de dos partes: un motor de aprendizaje y un motor de selección de la muestra. Estos dos motores conforman un proceso iterativo. En cada ronda, el motor de aprendizaje, a partir de un conjunto de entrenamiento pequeño, entrena un modelo para predecir las anotaciones de las muestras no anotadas, mientras que el motor de selección selecciona las muestras no anotadas más representativas, basándose en una determinada estrategia para el etiquetado manual. Estas nuevas muestras se añaden al conjunto de entrenamiento para la próxima ronda de aprendizaje. Esta estrategia se ha utilizado principalmente en teledetección para problemas de clasificación (Tuia, 2011; Crawford, 2013).

La hipótesis en la que se basa este proyecto es que la aplicación de técnicas de Data Mining y mas concretamente de Active Learning, permitirá la generación de modelos para la anotación automática de parcelas agrícolas delimitadas de forma también automática en imágenes de satélite, lo que permitirá en última instancia realizar consultas semánticas que ayudarán a la búsqueda, recuperación de la información y la posterior toma de decisiones relacionadas con la gestión agrícola.

Con los resultados obtenidos en el marco de este proyecto se ampliarán las funcionalidades de la plataforma web desarrollada en el marco del proyecto (AL15-PID-25). De tal forma que dada una imagen de satélite que contenga parcelas agrícolas, a través de la plataforma se podrá disponer de las siguientes funcionalidad:

  1. Mediante algoritmos de Active Learning se podrán generar y almacenar nuevos modelos de anotación.
  2. Se podrán determinar de forma automática las parcelas presentes en una imagen.
  3. Se podrán aplicar modelos ya almacenados a las parcelas identificadas para su anotación automática.

REFERENCIAS

  • Barnard, K. Y Forsyth, d., 2001. Learning the semantics of words and pictures. In International Conference on Computer Vision, Vol.2, pages 408-415.
  • Blei, D. y Jordan, M. I., 2003. Modeling annotated data. In the Proceedings of the 26th annual international ACM SIGIR conference.
  • Crawford, M. M., Tuia, D., & Yang, H. L. (2013). Active Learning: Any Value for Classification of Remotely Sensed Data? Proceedings of the IEEE, 101(3), 593–608. doi:10.1109/JPROC.2012.2231951
  • Duygulu, P., Barnard, K., de Freitas, N. Y Forsyth, D., 2002. Object recognition as machine translation: Learning a lexicon for a fixed image vocabulary. In Seventh European Conference on Computer Vision, pages 97-112.
  • Forestier, G., Wemmert, C. Y Puissant, A., 2012. Coastal image interpretation using background knowledge and semantics, Computers & Geosciences.
  • García-Pedrero, A., Gonzalo-Martín, C., Lillo-Saavedra, M. and Rodríguez-Esparragón, D., 2013, A strategy to improve quality and speed of multi-scale high-resolution image analysis through superpixels, Towards Horizon 2020: Earth Observation and Social Perspectives, 753- 760, European Association of Remote Sensing Laboratories (Matera, Italia).
  • Gonzalo-Martín, C., Lillo-Saavedra, M. and García -Pedrero, A., 2013, Unsupervised multiscale ROIs determination for supervised thematic classification, Towards Horizon 2020: Earth Observation and Social Perspectives, 783-790, European Association of Remote Sensing Laboratories (Matera, Italia).
  • Hofmann, T. , 1998. Learning and representing topic. A hierarchical mixture model for word occurrence in document databases. In Workshop on learning from text and the web, CMU.
  • Huang, T., Dagli, C., Rajaram, S. , Chang, E., Mandel, M., Poliner, G. and Ellis, D., 2008. Active learning for interactive multimedia retrieval, Proc. IEEE, vol. 96, no. 4, pp. 648–667.
  • Lillo-Saavedra, M., Fonseca, D., Lagos, O. y Gonzalo-Martín, C., 2013, Spatial Characterization of Evapotranspiration. A study at a field scale, Towards Horizon 2020: Earth Observation and Social Perspectives, 661-666, European Association of Remote Sensing Laboratories (Matera, Italia).
  • Macario, C. G. N. y Medeiros, C. B., 2009. A framework for semantic annotation of geospatial data for agriculture, International Journal of Metadata, Semantics and Ontologies, vol. 4, no. 1, pp. 118–132.
  • Mori, Y. , Takahashi, H. y Oka, R., 1999. Image-to-word transformation based on dividing and vector quantizing images with words. In MISRM’99 First International Workshop on Multimedia Intelligent Storage and Retrieval Management.
  • Picard, R. W. y Minka, T. P., 1995. Vision Texture for Annotation, In Multimedia Systems, 3(1):3–14.
  • Parulekar, A., Datta, R., Li, J. y Wang, J. Z., 2005. Large-scale Satellite Image Browsing using Automatic Semantic Categorization, presented at the ICCVW 2005: Proceedings of the Tenth IEEE International Conference on Computer Vision Workshops.
  • Polak, M., Zhang, H., & Pi, M. (2009). An evaluation metric for image segmentation of multiple objects. Image and Vision Computing, 27(8), 1223–1227. doi:10.1016/j.imavis.2008.09.008
  • Tang, J., Zha, Zh.-J., Tao, D. & Chua, T. S.. (2012). Semantic-Gap-Oriented Active Learning for Multilabel Image Annotation. IEEE Transactions on Image Processing, 21(4), 2354–2360. doi:10.1109/TIP.2011.2180916
  • Tuia, D., Volpi, M., Copa, L., Kanevski, M., & Munoz-Mari, J. (2011). A Survey of Active Learning Algorithms for Supervised Remote Sensing Image Classification. IEEE Journal of Selected Topics in Signal Processing, 5(3), 606–617. doi:10.1109/JSTSP.2011.2139193
  • Wang, X.-J., 0001, L. Z., Jing, F., & Ma, W.-Y. (2006). Image annotation using search and mining technologies.

Objetivos

El objetivo del proyecto es desarrollar un módulo para la anotación automática de parcelas agrícolas mediante técnicas de minería de datos

  • O1.- Determinar el(los) algoritmo(s) de segmentación que permitan delimitar de forma automática parcelas agrícolas en una imagen de satélite.
  • O2.- Determinar el(los) algoritmos de Active Learning que proporcionen los modelos más robustos y generales para la anotación de parcelas agrícolas.
  • O3.- Implementar un módulo de anotación automática de parcelas.
  • O4.- Difundir los resultados.

Actividades

  • A1.1.- Revisión del estado del arte de algoritmos de segmentación automática.
  • A1.2.-Implementación de los algoritmos en Matlab.
  • A1.3.- Selección de un algoritmo para la segmentación automática de parcelas agrícolas. Dicha selección se basará en métricas descritas en la literatura a tal efecto (Polak, 2009).
  • A2.1.- Revisión del estado del arte de algoritmos de anotación automática de imágenes y de Active Learning en diferentes áreas (teledetección, imagen médica, visión artificial, ...).
  • A2.2.-Reunión con expertos (gestores de explotaciones agrícolas, agricultores,...) para determinar un conjunto de términos semánticos utilizados para la anotación de las imágenes.
  • A2.2.-Implementación de los algoritmos en Matlab.
  • A2.3.- Selección de un conjunto reducido de algoritmos de Active Learning basado en el análisis crítico de las ventajas e inconvenientes de los diferentes algoritmos, así como su adecuación a la anotación automática de parcelas agrícolas. Dado que hasta nuestro conocimiento, no existen métricas para evaluar la calidad de la anotación en el ámbito concreto de imágenes de satélite, se van a adaptar métricas procedentes de otras áreas (Wang et al., 2006).
  • A2.4 Generación de los modelos de anotación automática de las parcelas.
  • A3.1 Elaboración de una especificación de requisitos del módulo a implementar para su integración en la plataforma WEB (AL15-PID-25).
  • A3.2 Formalización de los requisitos funcionales y no funcionales del módulo, así como los diferentes casos de uso. Se definirán 3 perfiles de usuarios que utilizarán el módulo y así tener una retroalimentación para producir las mejoras necesarias, tanto tecnológicas como de usabilidad.
  • A3.3 Diseño de la arquitectura completa del módulo
  • INPUT: Imagen raw, parámetros
  • OUPUT: Imagen con parcelas delimitadas y anotadas.
  • FUNCIONALIDAD: El usuario podrá elegir entre diferentes modelos para la generación de una imagen anotada de acuerdo a una serie de términos semánticos establecidos previamente. La información asociada a cada una de las áreas de la imagen se almacenará como datos estructurados en la BD disponible.
  • A3.4 Desarrollo del código del módulo.
  • A3.5 Integración del módulo en la plataforma.
  • A3.6 Validación de la funcionalidad del módulo integrado. El área de estudio sobre la que se validará, corresponde a una zona agrícola situada en la zona central de Chile. Se dispone tanto de datos de campo como de imágenes de satélite registradas por diferentes sensores (Worldview- 2, Pleiades, Ikonos y Landsat8) en diferentes fechas.
  • A5.1 Divulgación de los resultados obtenidos. Los resultados obtenidos en ese proyecto se enviarán a un congreso internacional y a una revista indexada en el JCR.
  • A5.2 Se realizará 1 taller con usuarios de empresas del sector agrícola, comprometidas en el proyecto FONDEF IT13I20002 con el objetivo de transferir los resultados tecnológicos y preparar una siguiente etapa de escalamiento y empaquetamiento del desarrollo tecnológico.

Resultados

  • R1.- Un algoritmo para la delimitación automática de parcelas con un error en la superficie estimada inferior al 10%.
  • R2.- Al menos dos modelos de anotación automática de parcelas con una fiabilidad superior al 80%.
  • R3.- Módulo de delimitación y anotación automática de las parcelas.
  • R4.- Publicaciones derivadas del proyecto.

Publicaciones

Entidad Financiadora

Universidad Politécnica de Madrid