Revision as of 00:09, 12 September 2017

Sistema de posicionamiento para escaneos 3D en el interior de objetos

En este trabajo presentamos un sistema de posicionamiento de visión activa para el escaneo 3D del interior de piezas. El diseño del sistema propuesto consta de dos módulos: un sistema de dimensionamiento 2D de visión activa, y un sistema que posiciona el módulo de visión activa. El sistema de posicionamiento es capaz de determinar la profundidad del sistema de dimensionamiento 2D de visión activa en el interior del objeto a escanear usando varios sensores. Las principales contribuciones de este trabajo son la caracterización del sistema de dimensionamiento 2D, y el desarrollo de algoritmos de posicionamiento de la luz activa con énfasis en el modelado y fusión de sensores. El sistema puede utilizarse como un sistema de dimensionamiento en aplicaciones industriales como la industria metal mecánica, la aeronáutica, la medicina, en el control de calidad y en áreas de visión por computadora.

Palabras clave: Estimación de la posición, Procesamiento de imágenes, Fusión de datos, Modelado sensorial

Introducción

En este trabajo presentamos una propuesta de un sistema de posicionamiento de luz activa para el escaneo 3D del interior de piezas industriales con gran utilidad en diferentes tipos de industria como la metal-mecánica, la aeronáutica, la militar y la medicina que requieren constantemente la medición de dimensiones internas de la pieza bajo inspección. Como ejemplos de aplicación podemos mencionar la medición del interior del cilindro maestro que forma parte del sistema de frenado de los autos, el escaneo 3D del interior del cuerpo humano, la medición en el interior de tuberías, la medición del interior de botellas hechas de plástico, entre otros (ver Figura 1). El presente trabajo propone el uso de un sistema de medición capaz de obtener la posición de la luz activa para poder dimensionar el interior del objeto, este sistema consta de dos módulos: un sistema de dimensionamiento 2D de visión activa, y un sistema de posicionamiento que calcula la profundidad del sistema de dimensionamiento 2D de visión activa. La profundidad es calculada por la información proveniente de varios sensores de forma independiente los cuales son fusionados para obtener una medición de mayor precisión y exactitud. Figura 1: a) Anillo patrón. b) Cilindro maestro. c) Flecha de velocidad constante. d) Parte de tren de aterrizaje para aviones. e) Botellas de plástico. f) Tubos. g) Rodamientos para motor. h) Ducto de refrigerador.

El sistema de dimensionamiento del interior de piezas con difícil acceso está basado en un fibroscopio modificado. La modificación consiste en la sustitución del sistema de iluminación original del fibroscopio por un sistema que proyecta una línea de luz. Esta línea de luz revela una sección transversal del interior del objeto bajo estudio. La línea de luz se obtiene mediante un LED de potencia encerrado entre 2 placas y unido por una extensión a la punta del fibroscopio (ver Figura 2 a) y b)). Las imágenes de diferentes secciones transversales del objeto son capturadas por una cámara conectada al ocular del fibroscopio por medio de un video acoplador (ver Figura 2 c)).

Figura 2: Sistema de visión activa para el dimensionamiento del interior de objetos. a) y b) Generación de la línea de luz, c) Cámara conectada al ocular del fibroscopio por medio de un video acoplador.

El sistema que determina la profundidad de la visión activa, está conformado por un sistema de visión, un sensor magnético y un odómetro. El sistema de visión consta de una cámara y de un patrón de referencia pegado en las placas del sistema de iluminación, unidos al sistema de guiado del fibroscopio que componen al sistema de visión activa. El patrón está constituido por una matriz de 8 columnas de círculos y 8 renglones de círculos de color blanco con fondo negro. La cámara es del tipo endoscopio digital flexible de 7 mm de diámetro y una distancia de trabajo de 150 mm, captura imágenes con una resolución de 640x480 pixeles. El sensor magnético funciona como un potenciómetro cuyo valor de resistencia está relacionado con el valor de la posición, este puede adherirse a la pieza bajo medición, la lectura del sensor magnético se realiza mediante un módulo Bluetooth. El odómetro se coloca en forma paralela a la cámara y se desplaza en dirección al eje óptico de la cámara. Nuestra configuración del sistema está diseñado para una distancia óptima de 150 mm de profundidad. La principal aportación de este trabajo está centrada en el módulo de posicionamiento del sistema de dimensionamiento. La contribución de este módulo es la adaptación de un sistema de visión junto con la integración de sensores de desplazamiento lineal de bajo costo y fácil adaptación; un sensor magnético y un odómetro que es desarrollado por nosotros, para calcular el posicionamiento del sistema. En particular, el enfoque consiste en fusionar las mediciones provenientes de los sensores con el fin de lograr estimaciones del posicionamiento del sistema más exactas, el cálculo de la posición es formulada utilizando técnicas de estimación como los filtros FK y FP que modelan el comportamiento lineal del sistema, ambos métodos han sido implementados con el propósito de reducir el error de la estimación resultante. La novedad de este trabajo es el desarrollo de un método de posicionamiento para el sistema de visión activa para la mejora del dimensionamiento de objetos.

Estado del arte

El sistema de escaneo tridimensional presentado está compuesto por un módulo de dimensionamiento de visión activa y un módulo de posicionamiento. El módulo de visión activa consta de un fibroscopio y un generador de luz. El módulo de posicionamiento está formado por un sistema de visión, un sensor magnético y un odómetro. La aplicación del sistema de medición se basa en la determinación de la profundidad del sistema de dimensionamiento 2D de visión activa, para poder dimensionar el interior del objeto con este sistema, cada componente ó todo el sistema de visión debe ser calibrado. Son pocos los artículos que especifican métodos particulares para calibrar una cámara conectada a un fibroscopio utilizada como parte del sistema de escaneo y que proponen un sistema de posicionamiento de luz activa con varios sensores para el dimensionamiento de objetos, en esta sección presentamos algunos trabajos comparativos con el presente trabajo.

2.1 Visión Activa

Los artículos que describen la calibración de la cámara conectada al ocular de un endoscopio los podemos dividir en dos grupos: los que se basan en la técnica propuesta por [1] como [2, 3, 4], y los que realizan la calibración considerando una lente de pescado (lente fish-eye) con un ángulo de visión superior a los 45 grados como los propuestos por [5], [6], [7] y [8]. El trabajo presentado por [9] consta de un sistema catadióptrico formado por un endoscopio y un espejo esférico. Los autores calibran el sistema de dos formas: usando el modelo pinhole presentado en [1] donde la distorsión radial modela la curvatura del espejo y proponen un modelo propio para el sistema.

Varias de las publicaciones para el escaneo 3D de piezas huecas utilizando endoscopios rígidos o flexibles se encuentran en el campo de la medicina, por ejemplo [10], [11], [12], [13], [14], [15], [16], [17], [18], y [19] utilizan piezas de referencia para validar los escaneos 3D en el interior del cuerpo humano, por lo que bien pudieran ser utilizadas en el sector industrial. Los trabajos que utilizan endoscopios rígidos o flexibles para escaneos 3D de utilidad en la industria son: [20], [21], [22], [23], [24], y [25]. En [20] se desarrolló un robot para inspeccionar tuberías con diámetros entre 20 cm y 50 cm, su sistema emite luz estructurada para escanear tridimensionalmente el interior de las tuberías. En [21] se menciona que la mayoría de los trabajos dedicados a escaneos 3D a través de endoscopios han sido enfocados a patentes, el método de calibración de la cámara descrito es similar a nuestro trabajo, incluso la manera de comprobar la exactitud del sistema, ya que sigue la ideología de nuestro trabajo usando piezas de referencia. En [22] se utiliza un videoscopio y un escáner láser para realizar los escaneos 3D, la manera de comprobar la exactitud es con piezas de referencia y su trabajo está enfocado al área médica.

De acuerdo con [23], existen pocas publicaciones que describen el escaneo 3D de piezas huecas a partir de imágenes adquiridas con fibroscopios monoculares. Los trabajos [26] y [27], al igual que nosotros, utilizan un fibroscopio y escanean en 2D secciones transversales que luego posicionan mediante otro sistema. Sin embargo, [26] y [27] se basan en un enfoque de iluminación activa utilizando un espejo cónico para proyectar un rayo láser en forma de anillo sobre la superficie interior de la tráquea con el fin de encontrar estenosis. En el trabajo de [10] al igual que nosotros, proyectan un haz de luz para resaltar la superficie a medir, para ello utilizan un galvanómetro con el fin de resaltar diferentes zonas en el interior del órgano. Este trabajo encuentra también la relación angular entre la cámara y el láser con el fin de calcular coordenadas 3D. Para lograr el escaneo 3D, [16], proyecta un láser de color verde con el fin de triangular haciendo uso del láser y la cámara. [19] desarrolló su propio escáner endoscópico, su trabajo al igual que el nuestro proyecta uno o más anillos en el interior a escanear, con dichos anillos y una lente catadióptrica conectada a la cámara puede capturar puntos en 3D. En [23] el escaneo 3D es a partir de la extracción de puntos característicos de las imágenes y al igual que en este trabajo filtran las estructuras de panal de abeja para mejorar la calibración de la cámara y los escaneos 3D. [24] desarrollaron un sistema para inspeccionar barrenos que utiliza un endoscopio rígido y un proyector láser que proyecta un patrón circular. El sistema es guiado por un brazo robótico e inspecciona diámetros de barrenos entre 4 mm y 50 mm con una profundidad de 100 mm. [25] presentan una técnica conocida como Tomografía de Coherencia Óptica (OCT) para el escaneo 3D, también utilizaron un espejo cónico para la iluminación. Esta técnica no incluye componentes electro-mecánicos en la punta de la sonda. Dos revisiones que tratan el escaneo 3D utilizando endoscopios y análisis de imágenes tanto en el área médica como la industrial son presentados en [28] y [29]. Ninguna de estas revisiones presenta el diseño de un sistema de posicionamiento similar a nuestro trabajo, por lo que se puede considerar a nuestro sistema como innovador tomando en cuenta el sistema de iluminación propuesto, las metodologías para calibrar el sistema, la integración de los sensores y la forma de calcular el posicionamiento de la luz activa y evaluar los errores de medición y su incertidumbre, donde la principal aportación es el desarrollo del sistema de posicionamiento.

La Tabla 1 muestra las principales características que presenta nuestro sistema para escanear el interior de piezas comparado con otros sistemas. Los artículos presentados en esta tabla utilizan luz estructurada con uno o varios planos, o proyectan luz con formas conocidas. Los trabajos que no usan luz estructurada, [23], detectan características en la imagen que son seguidas mientras el sistema de visión calibrado se desplaza de manera controlada, usando el método de factorización las características seguidas son escaneadas tridimensionalmente. La mayoría de los trabajos usan una referencia con el propósito de transformar las unidades de pixeles a unidades métricas. Pocos son los trabajos que hacen un análisis del error y de las incertidumbres del sistema de medición.

Tabla 1: Principales características de nuestro sistema de medición de interiores comparado con otras propuestas.

2.2 Determinación de la profundidad

Existen en la literatura trabajos donde proponen métodos de posicionamiento basados en la visión y la integración de sensores describimos algunas técnicas utilizadas para la estimación de la posición de un objeto. Trabajos que utilizan sistemas de visión para calcular la estimación de la posición de los objetos del medio ambiente utilizando la información proveniente de las imágenes capturadas por la cámara, la cual contiene la relación de los puntos de referencia son [30], [31], [32]. Otros autores como [33] introducen una estimación de la posición utilizando un sistema de múltiples cámaras, la configuración de estos sistemas combinan las observaciones de todas las cámaras para calcular los parámetros de rotación y traslación del sistema a partir de una secuencia de imágenes. En [34] presentan un método que permite calcular los valores de la posición y rotación de la navegación de una cámara monocular, calculan directamente los parámetros de movimiento a partir de una serie de imágenes y estiman la precisión de los parámetros. El trabajo propuesto por [35] aborda el problema de localización utilizando la aplicación de un algoritmo de mapeo probabilístico y localización simultáneos (SLAM) utilizando una sola cámara. El algoritmo SLAM permite generar mapas probabilísticos del entorno dados los puntos de las proyecciones de la imagen; con los mapas obtenidos es posible generar trayectorias de navegación.

Otros trabajos utilizan múltiples sensores como láser, giroscopios, GPS, etc. Para obtener información del posicionamiento de un objeto y mejorar la estimación de la posición de este, se basan en métodos probabilísticos para fusionar los datos de los sensores como el filtro de Kalman [36], mezcla de gaussianas [37], localización de markov para entornos dinámicos como [38], etc. En el trabajo de [39] se describe la implementación de algoritmos de navegación para determinar la posición de un robot móvil a partir de la estimación del odómetro cuando este se mueve en un entorno conocido, donde muestran la integración de odómetros en aplicaciones de robótica móvil, el robot puede rotar y trasladarse a través del entorno y a su vez medir estos movimientos para su localización. Otro sistema de localización de un robot móvil en un ambiente estructurado es el desarrollado por [40] su sistema combina un sistema de visión omnidirecional junto con un odómetro, calculan una estimación fiable de la posición debido a que realiza un ajuste en las mediciones al combinar los datos de los sensores utilizando un método de filtrado estadístico (EKF). En [41], plantean el problema de la localización y control de posición de un robot móvil mediante el uso de sensores y la fusión de datos obtenidos de estos sensores, primero son corregidos los datos obtenidos por los odómetros del robot y después retroalimentan el EKF para tener mayor control de la posición. Otro enfoque para resolver el problema de localización de un objeto es el trabajo presentado por [42] donde se utiliza un sistema de detección de posición lineal, utilizando una serie de sensores magneto resistivos (MR) y señales de acondicionamiento electrónico. Los sensores se utilizan para determinar la posición de un imán que está unido a un objeto en movimiento, estos sensores miden la relación de la posición del imán y la función del campo magnético para determinar la posición del objeto [43], en este trabajo se describe un nuevo sensor de desplazamiento magnético que mide la posición de un imán a lo largo de dos ejes. El cálculo de la posición se consigue midiendo la dirección del campo magnético. Los sensores utilizados en este trabajo son dos circuitos de montaje superficial, a diferencia del sensor que utilizamos en nuestro trabajo que es un sensor magnético de película delgada. En [44] se expone la implementación de un algoritmo de detección y seguimiento de objetos mediante un escáner láser, su sistema funciona a partir de la segmentación de los datos del sensor que permite determinar el número de objetos presentes en el entorno y determinar sus movimientos para poder llevar a cabo una navegación de forma segura. Otros autores como [45] describen la auto localización de un robot utilizando las mediciones de un sensor ultrasónico basado en el filtro de partículas, los autores introducen varios métodos de localización para eliminar el ruido del proceso y de la medición, muestran resultados comparativos entre el filtro EKF y FP para la localización del robot con ambos métodos.

En [46] proponen un método de localización de un objeto en movimiento a través de una secuencia de imágenes tomadas por una cámara, utiliza el filtro de partículas como algoritmo de seguimiento basado en la información de múltiples sensores, integran un sistema de visión junto con un sistema de control para seguir de forma continua el objeto. Al igual que autores como [47] que proponen un método de seguimiento objetos basado en el control de movimiento de una cámara utilizan el filtro de partículas para predecir la posición del objeto en movimiento correspondiente a la información obtenida de una imagen. Autores como [48] analizan el problema entre la detección de un objeto y la estimación de la profundidad y realizan un seguimiento del objeto usando filtro de partículas, donde la posición de este objeto es modelado para la estimación de la profundidad. En [49] los autores presentan el seguimiento de un objeto en una secuencia de video, en sustitución de un modelo dinámico del objeto utilizan el método de substracción de fondo para predecir las ubicaciones del objeto y la aplicación del filtro de partículas para el seguimiento del objeto. En este trabajo presentamos el desarrollo de algoritmos para dar una solución al problema de la estimación de la posición, para mejorar el dimensionamiento 2D del interior del objeto a escanear.

3. Metodología

En esta sección se presenta un sistema capaz de escanear el interior de objetos en dos etapas. La primer etapa realiza el dimensionamiento 2D de una sección transversal usando visión activa. La segunda etapa localiza el sistema de visión activa dentro del interior del objeto para asignarle al dimensionamiento 2D el valor de profundidad que corresponde a la posición de la luz activa.

El sistema cuenta con una cámara CCD monocromática (C1) con una resolución de 2448x2046 pixeles y un sensor de 1/1.45"que se conecta al ocular del fibroscopio utilizando un video acoplador óptico (VA) ver Figura 2. Un fibroscopio de 7 mm de diámetro (FIBRO) con una longitud efectiva de 1320 mm, dispone de una distancia mínima de trabajo de 30.48 mm, y un campo de visión de aproximadamente 50 grados alrededor del eje vertical y 40 grados alrededor del eje horizontal. La configuración del sistema del sistema de medición propuesto se muestra en la Figura 3.

Figura 3: Esquema del sistema de medición propuesto. C1 corresponde a la cámara que junto al fibroscopio (FIBRO) y el LED de potencia (LP) dimensionan en 2D el interior del objeto. La profundidad del dimensionamiento 2D se realiza con: una ME que corresponde a la escala magnética que es leída por el módulo Bluetooth, BT; una micro cámara mC2 que usa un patrón de círculos colocado en una de las placas del LP; y un odómetro (ODO) es leído a través de la tarjeta STM. La computadora PC, recibe los puntos 2D de la cámara C1 y la profundidad reportada por los 3 sensores (mC2, ME y ODO) para completar el escaneo 3D.

La Figura 4 muestra la cámara endoscópica (mC2), que utiliza tecnología optoelectrónica para inspeccionar áreas de difícil acceso. La cámara endoscópica (mC2) tiene un diámetro de 7 mm, las dimensiones son de 510.54 mm x 7.62 mm x 7.62 mm, la resolución es de 640_480 pixeles (JPEG), adquiere a 30 cuadros por segundo (FPS) y usa una luz LED ajustable en la punta de la cámara para iluminar la zona de inspección. En la punta del fibroscopio se adjuntó un dispositivo de iluminación, omitiendo el sistema de iluminación proporcionado por el fibroscopio. Este dispositivo está formado por un LED de potencia de color rojo de 1 watt (LP) y dos placas rectangulares opacas unidas a la circunferencia del LED. Las placas rectangulares se colocan de tal manera que el componente emisor de luz del diodo está entre las placas (véase región del LP ampliada que muestra el LED entre placas sujetas al fibroscopio). De esta manera, la luz sólo puede salir a través de la ranura formada por las placas, formando un plano de iluminación que toma la forma de la sección transversal del interior donde se proyecte. Las placas tienen un patrón de círculos impresos, que junto con la cámara 2 (mC2) localizan el plano de luz al interior del objeto.

Figura 4: Cámara Endoscopica USB Super Eyes N005.

Otro sistema de posicionamiento usado es un sistema llamado magneto-pot o escala magnética (ME), que es un potenciómetro con una resistencia variable, su operación se fundamenta en la variación de la resistencia en función de la posición. La ME puede adherirse a la pieza bajo medición. La lectura de posición de la ME y el control de intensidad del LP se realizan mediante un módulo Bluetooth (BT). Una interfaz gráfica de usuario (PC) es utilizada para controlar y leer todos los dispositivos del sistema y procesar la información necesaria para realizar el escaneo 3D. Un tercer método para calcular el posicionamiento de las secciones transversales es utilizando un odómetro (ODO), el cual calcula el desplazamiento del LP uniendo la cuerda del odómetro a una de las placas del LP.

3.1 Visión Activa

El diagrama de flujo de la Figura 5 muestra la metodología para realizar el dimensionamiento o escaneo 2D. En él se muestran tres grandes bloques de operaciones delimitados con línea punteada. Procedimiento de calibración, trazabilidad, posición y orientación (POSE).

Figura 5: Diagrama de flujo para el escaneo 2D del interior de piezas huecas.

El procedimiento de calibración que se muestra en el bloque superior calcula los parámetros intrínsecos de la cámara conectada al fibroscopio y los coeficientes de distorsión de la lente acoplada a la cámara. Los parámetros y los coeficientes son evaluados con el toolbox de Bouguet et al. [50] modificado para detectar círculos. El bloque de trazabilidad permite encontrar la POSE del plano de luz generado por el LED de potencia encerrado entre placas y la POSE de los anillos patrón, ambas POSEs respecto al sistema de coordenadas de referencia ubicado en la cámara. Los anillos proporcionan la trazabilidad y corrección de la POSE del plano de luz. El último bloque del diagrama describe como el contorno de las secciones transversales 2D definidas en el plano imagen, se transforma en una nube de puntos (coordenadas 2D en el mundo) utilizando los parámetros intrínsecos de la cámara y la POSE del plano de luz. Cada uno de los bloques mostrados en la Figura 5 se encuentra descritos en [3].

3.2 Determinación de la profundidad

Para calcular la profundidad se usó un sistema de visión, un odómetro y un sensor magnético. Primeramente determinamos el modelo del sensor, después hicimos una corrección, la caracterización del sensor (ver Figura 6) y finalmente la fusión de los datos sensados.

Figura 6: Modelado, corrección y caracterización de los sensores para el cálculo de profundidad

El sistema de visión utilizado consta de una cámara y un patrón de referencia pegado en una de las placas del LED de potencia. El modelo de la cámara usado es el pinhole. Para calcular los parámetros de la cámara usamos un patrón de calibración con círculos impresos. En la caracterización, el patrón se mueve respecto a la cámara en intervalos de 10 mm usando un sistema de posicionamiento calibrado, por ejemplo una Máquina de Medición por Coordenadas (CMM), el sistema es capaz de medir hasta una distancia de 150 mm. Se toman tres secuencias de medición para caracterizar el sistema de visión.

Con el propósito de dar trazabilidad a los parámetros del modelo, se utiliza un patrón de calibración compuesto por una matriz de 8 x 8 círculos. La posición de cada centro del círculo es calculado por una Máquina de Medición de Coordenadas Ópticas (OCMM). Con este procedimiento extra, eliminamos los errores que puede introducir la impresora que imprime el patrón de círculos. Se modificó el toolbox de Bouguet [51] para utilizar los círculos en el cálculo de los parámetros intrínsecos.

El odómetro es un sistema que está compuesto por un conjunto de tarjetas electrónicas STM 32F4 discovery que se encargan de adquirir y procesar la señal de los pulsos generados (ver Figura 7). Entre las partes que componen el sistema se encuentra un módulo de medición lineal. El módulo lineal usa un encoder opto-electrónico con un carrete acoplado al mismo, se jala un cable por un sistema dentado con una cadena en la que cada vuelta el encoder hace un conteo de los pulsos generados. El conteo de los pulsos generados por el encoder relaciona las vueltas y el desplazamiento lineal de la cuerda que está sujeta al generador de luz estructurada. El modelo utilizado para el odómetro es un polinomio. Para calcular la corrección del polinomio usamos una Máquina de Medición de Coordenadas (CMM) y la metodología presentada en [52] para una sola dimensión. La caracterización del sensor se hizo de forma estadística aproximando la medición de los sensores a una distribución paramétrica normal.

Figura 7: (a) Odómetro completo,(b) tarjeta STM 32F4 discovery que permite la lectura del odómetro y la interfaz de los datos

El sensor magnético (ver Figura 8) está formado por un imán de posición sobre un eje de movimiento del dispositivo. El sistema de medición propone el uso de una escala magnética que funciona como un potenciómetro con una resistencia de 10K cuyo desplazamiento depende de las posiciones del imán, para calcular el desplazamiento lineal al hacer presión sobre la capa superior del sensor, un segundo imán se coloca sobre las placas del generador de luz (LP), lo que permite conocer el desplazamiento del sistema de luz activa. El modelo utilizado para el sensor magnético es un polinomio. Para la corrección del polinomio usamos una Máquina de Medición de Coordenadas (CMM) como en [52]. La caracterización del sensor de desplazamiento magnético se hizo de forma estadística considerando una distribución normal.

Figura 8: Arriba. Módulo bluetooth, Abajo. Escala magnética.

3.2.1 Modelo probabilístico del sistema

Sea X una variable que toma como posibles valores x1, x2, xn que representan donde se encuentra posicionada la luz activa en un instante de tiempo t, donde a cada valor de la variable se le asocia un valor de probabilidad, entonces para el conjunto de valores de X junto con sus probabilidades se define la distribución de probabilidad como:

Si x es la localización del sistema en el instante actual x(t), dadas una secuencia de observaciones medidas por los tres sensores z=(z1, z2, ...,zn), entonces para calcular la posición del sistema en el instante actual a partir de cierta medida z se define un valor de probabilidad condicionada a todos los datos de los sensores disponibles mediante P(x|z):

El problema general es estimar la posición del generador de luz activa con el sistema propuesto. Las mediciones del sistema son datos con incertidumbres que se pueden modelar mediante distribuciones de probabilidad (PDF), en este caso como una distribución gaussiana. La ecuación 3 describe la probabilidad de que el generador de luz activa se encuentre en la posición medida por el sensor, ver [53].

Donde X es el dato medido por el sensor Xn (sistema de visión, odómetro y magneto), z es la media y σ es la desviación estándar de la distribución para la medición del sensor. Las PDFs resultantes Pn(x) para cada X(n) se utilizan para representar cada una de las mediciones de los sensores con sus incertidumbres, cada medición produce una distribución gaussiana de la posición del generador de la luz activa. Para cada sensor la media y la desviación estándar han sido calculadas para posiciones discretas, el desplazamiento de referencia de la luz activa fue hecho con la Máquina de Medición de Coordenadas (CMM). Los datos son interpolados para posiciones donde no se conoce la media y desviación estándar de referencia. Existen diferentes métodos para la interpolación de los datos, en este trabajo utilizamos el algoritmo de maximización de la esperanza (expectation-maximization, EM). La interpolación lineal de los datos está definida por [54]:

Donde (µ1; σ1), (µ2; σ2) son las medias y desviaciones estándar para las posiciones desplazadas por la Máquina de Medición de Coordenadas (CMM), y (µn; σn) los datos estadísticos interpolados, α es el parámetro de interpolación, indica la diferencia entre dos valores observados, dadas dos muestras aleatorias X1,X2, la cov(X1,X2) es la varianza de µ, variable aleatoria unidimensional var(X)=cov(X1, X2).

3.2.2 Fusión de sensores

La alineación de los sensores es importante ya que la posición inicial del sistema se estima con esta referencia. Los datos obtenidos de los sensores son fusionados para mejorar la estimación de la posición del generador de luz activa (ver Figura 9). El odómetro y magneto adquieren datos los cuales son corregidos usando una curva polinómica previamente calculada. Las imágenes de la cámara son corregidas en cuanto la distorsión radial usando los coeficientes de distorsión.

Figura 9: Metodología utilizada para el cálculo de la profundidad

Usando la CMM se desplazó varias veces el sistema de dimensionamiento activo a diferentes posiciones y se caracterizaron los datos de los sensores a diferentes posiciones de la CMM. Estas posiciones de la CMM son discretas, cuando una posición del sensor no ha sido caracterizada se usa la interpolación descrita en la sección 3.2.1.

El siguiente paso será el de fusionar todos los sensores. Cuando se tienen datos de diferentes sensores lo conveniente es realizar una fusión de datos con el fin de disminuir el error en la estimación de la posición, la idea de la fusión de dos o más datos es combinar las PDFs de estas mediciones para obtener un solo conjunto de datos. Las correspondientes distribuciones se fusionan mediante la multiplicación de las PDFs dada la ecuación 6, que representa la multiplicación de los datos y esta definida como la distribución de probabilidad conjunta.

De la resultante P(X1;X2; ... ;Xn) de la combinación de las PDF de cada sensor, extraemos los datos del valor esperado o media, Xn=E[Xn], que representa la mejor estimación de la posición y la desviación estándar que es la incertidumbre asociada al valor esperado de la posición sigma= √(Var(n)).([55]). Entonces, la posición estimada de la luz activa es corregida mediante la fusión de estas distribuciones de probabilidad.

3.3 Estimadores de posición

Los filtros de Kalman y Partículas son algoritmos que actualizan recursivamente una estimación del estado del sistema de visión activa dada una secuencia de observaciones. Utilizamos la aplicación de ambos filtros como estimadores del posicionamiento del sistema de dimensionamiento basado en luz activa para tener un mayor control de la medición de la posición. Ambos filtros comienzan con una representación del modelo dinámico del sistema, el filtro de Kalman estima la posición en base a retroalimentación del modelo lineal del sistema, mientras que el filtro de partículas lo hace en términos de la predicción de muestras aleatorias, la idea principal es representar la distribución de la posición del sistema. El modelo dinámico del sistema que describe el comportamiento del sistema es presentado por:

con una medida:

Donde Xn es el vector de estado que describe la posición del sistema, wn representa el error de la estimación del estado, vn es el error aleatorio asociado a las mediciones de los sensores y zn es la medición conocida dada por el sistema en la posición actual. A y H son constantes iguales a 1 debido a que nuestro sistema de posicionamiento se mueve sobre un solo eje. El objetivo es dar una solución al problema de la estimación de la posición de la luz activa aplicando los algoritmos propuestos el FK y FP para estimar el vector de estado dado un conjunto de mediciones provenientes del sistema de medición, así, los filtros procesan las mediciones zn sobre un conjunto de muestras, dando finalmente como resultado el valor estimado Xn.

3.3.1 Filtro de Kalman

El Filtro de Kalman(FK) se utiliza para modelar sistemas lineales en el que las mediciones del sistema se ven afectadas por ruido aleatorio provenientes del comportamiento del sistema. Para hacer una estimación de los valores de la posición, el filtro requiere de los valores estadísticos del ruido del proceso y de las mediciones, las cuales son utilizados para la estimación de la posición de la luz activa para producir estimaciones que están mas cerca del valor real, a partir de las mediciones obtenidas de la mezcla de gaussianas se obtiene un vector de medición zn, estas mediciones son utilizadas para inicializar el filtro.

Las ecuaciones definidas en la sección 3.3 representan a Xn como la ecuación del estado del sistema, zn como la ecuación de las mediciones, a vn como el error asociado a la medida y wn como el error asociado al sistema. Q es la covarianza del sistema relacionada con la diferencia entre el valor real del estado y la estimación, R es la covarianza del error de medición que se estima a partir de la desviación estándar de la medida de los sensores. Experimentalmente el filtro toma en cuenta los siguientes parámetros: el estado inicial del sistema se definió como x0(0)=0, la covarianza del sistema Q=0.176 y la covarianza del error asociado a la medición fue R=0.1 . Posteriormente se actualizan la ecuación de observación usando los estados estimados y la covarianza mediante las ecuaciones:

El término Kn minimiza la covarianza del error denominado como Ganancia de Kalman:

La ecuaci\'on de actualizaci\'on de las medidas por el filtro esta definida por:

Una vez descritas las ecuaciones matemáticas del filtro, se procedió a realizar la simulación correspondiente de las estimaciones. Las gráficas en la sección de resultados ilustran el comportamiento típico del filtro de Kalman, el objetivo de utilizar el filtro de Kalman es mostrar la estimación de la posición de la luz activa.

3.3.2 Filtro de Partículas

Presentamos la aplicación del filtro de partículas (FP) como un modelo de estimación similar al filtro de Kalman, en cada estimación usa como entrada el valor de posición en el estado anterior y la medición actual de los sensores. El algoritmo consiste en definir el posicionamiento de la luz activa a partir de una PDF inicial P(x0) con un número de (N) partículas (x(0:t)= 1, . . . , N) utilizando los datos provenientes de los sensores, hemos decidido inicializar el _ltro como sigue x0=0 y P(x0)=0.176; con un número total de 100 partículas, estas partículas representan muestras aleatorias de posibles valores cercanos a la posición del sistema, en un segundo instante de tiempo cuando el sistema se mueve a la siguiente posición las partículas se desplazan intentando predecir la posición del sistema en ese instante de tiempo, las partículas dispersadas alrededor de esa posición son evaluadas y se determina la probabilidad de cada partícula asociada a un peso wt= 1, . . . ,N, remuestrea anulando aquellas partículas con poco valor de probabilidad, después de estos pasos las partículas distribuidas con mayor peso tendrán mayor probabilidad de obtener una PDF en torno a una única solución para la estimación del posicionamiento de la luz activa, estimamos recursivamente esta distribución en cada momento en que una medida es tomada.

4. Resultados

4.1. Visión activa

El sistema de visión activa propuesto es capaz de dimensionar el interior de objetos que van desde los 20 mm a 60 mm en dimensiones transversales. Cualquier perfil interior uniforme y no uniforme se puede escanear siempre y cuando la cámara conectada al fibroscopio tenga una visión clara de la línea de luz LED que alcanza las paredes. El cálculo de la profundidad del dimensionamiento produce una nube de puntos 3D de la pieza bajo medición.

El fibroscopio genera estructuras en forma de panal de abeja que se manifiestan en las imágenes capturadas. Estas estructuras deben ser filtradas de lo contrario el procedimiento de calibración no puede realizarse a menos que se desarrolle un extractor de características inmune a este tipo de ruido. La Figura 10 muestra la imagen de un patrón de calibración capturado a través del fibroscopio. En este trabajo se utilizaron dos filtros, uno propuesto por [56] y el otro propuesto por [57]. Después de algunas pruebas, se estableció que la aplicación de ambos filtros en secuencia, primero Winter y luego Xu, da excelentes resultados. La secuencia opuesta no funciona pues los resultados son similares con solo aplicar el filtro de Winter, Figura 10 b). La Figura 10 muestra los resultados individuales de ambos filtros y los resultados cuando se aplican en secuencia.

Figura 10: a) Imagen con estructura de panal presentes b) Región de la imagen ampliada filtrando con Winter et al. [56], c) Zona de la imagen ampliada filtrando de acuerdo a Xu et al. [57] y d) Región de la imagen ampliada utilizando el filtro de Winter, seguido por el filtro de Xu.

Una comparación de las mediciones de una sección transversal del cilindro de frenado de autos se realizó entre los resultados del sistema propuesto y los obtenidos por medio de una CMM. La CMM es un equipo calibrado trazable a patrones nacionales y se puede utilizar como patrón de referencia.

Figura 11: (a) Escaneo 3D del interior de un cilindro de frenado de autos como el mostrado en la Figura 1b,(b) Medición de las secciones transversales del cilindro

La Figura 11 representa un escaneo 3D de interior del cilindro de frenado de autos. La Figura 11 a) muestra el escaneo de varias secciones transversales en el interior del cilindro maestro. La Figura 11 b) muestra el error del diámetro al comparar el diámetro del cilindro ajustado con todas las secciones transversales medidas por el sistema propuesto y el diámetro medido por una CMM. El error es de 0.028 mm con una incertidumbre de 0.050 mm la cual cubre dicho error. En la Figura 11 b) también se aprecia la cilindricidad de 0.186 mm. El error de diámetro es una prueba de la exactitud del sistema propuesto en el dimensionamiento 2D. Los resultados de la Figura 11 b) se obtuvieron con el software de medición certificado GOM Inspect V8.

4.2. Determinación de la Profundidad

El LED de potencia se mueve a lo largo de una trayectoria dentro del objeto a escanear y se quiere medir su posición. Los tres sensores se mueven junto con el LED y toman mediciones, estas se agrupan en un vector de posición X(n) = 1; 2;...,N. Donde n representa el número de veces que son tomadas las mediciones, N es el número de mediciones para una posición específica. Los datos se adquieren por medio de mediciones repetidas, para este experimento medimos tres secuencias de datos diferentes para cada sensor, con la repetición de las medidas observamos que se producen resultados iguales o similares debido a que estas están sujetas a errores asociados al sistema, una mejor manera de estimar estas mediciones es calculando la media de los datos para tener una aproximación al valor medido.

Una vez realizado el escaneo, se debe determinar el modelo del sistema de acuerdo con las lecturas recogidas por los sensores. Para realizar una estimación correcta de todas las posiciones X con sus incertidumbres que ocurren durante la adquisición de datos, asumimos que nuestros datos representan un conjunto de variables aleatorias independientes, uniformemente distribuidas que siguen una distribución normal gaussiana de acuerdo a N(µ,σ) con una media centrada en el punto medio y una desviación estándar que modela la incertidumbre.

Por lo que debemos encontrar los valores de sus parámetros estadísticos de la media µ y la desviación estándar σ y a partir de estos podemos realizar una caracterización del modelo que pueda adecuarse a las posiciones que están más cerca de las posiciones reales. En secciones posteriores definimos formalmente el modelo del sensor definiendo cada una de las distribuciones de probabilidad para las lecturas de los sensores.

La Figura 12 muestra los resultados de las posiciones de la luz activa provenientes de datos de diferentes sensores, 15 posiciones diferentes se miden. La descripción del modelo del sistema está relacionado con estas mediciones, con los resultados obtenidos se observa el comportamiento de un sistema dinámico lineal de tres variables independientes con la misma tendencia. A partir de conocer el comportamiento del sistema vemos que en la zona de 80 a 150 mm es donde una variabilidad de medida está presente en el sensor odométrico, se demuestra que a partir de este intervalo se tienen un valor de 0.1 mm de error acumulado con referencia al valor medido para cada posición.

Figura 12: Gráfica de la posición del LED de potencia cada 10 mm, para cada sensor

Cuando se hacen varias mediciones se puede obtener un valor estadístico del error, el error asociado a las mediciones de la posición se presenta en la Figura 13, con estos valores sabemos que la medición de la posición es proporcional a la desviación que presenta, y nos da la exactitud de éstas medidas, es decir, a mayor repetibilidad mayor exactitud. Al tomar en cuenta estas medidas nos dirá que tan preciso es el sensor con el que estamos midiendo. En la Figura 13 podemos apreciar que las incertidumbre en los datos presentados están contenidas en el rango de 0 hasta 3 mm . El intervalo en el que el sensor odométrico mostró un mayor error sistemático es de 50 mm a 100 mm que presenta incertidumbres cercanas a 3 mm, mientras que el sensor magnético en el intervalo de 20 a 50 mm se aproxima a los 0.1 mm, a su vez el sensor óptico después de los 110 mm presenta variaciones de 0.1 mm debido a que en esas posiciones el campo visión de la cámara ya es limitado. Así pues podemos concluir que los sensores de menor error muestran mayor capacidad de adquirir los datos, esta información nos es útil analizarla ya que posteriormente al hacer la fusión de los datos esperamos que los sensores con menor variabilidad incluyan en la estimación final de la posición.

Figura 13: Desviación estándar σ de los sensores a diferentes posiciones

4.2.1 Modelado de sensores

Al iniciar el análisis de una serie de datos un primer paso consiste en describir el comportamiento de estos. En nuestro caso estamos interesados en conocer un valor de posición después de la realización de una medición y la determinación de la distribución a la cual se refiere ese valor. Ya que nuestros resultados de medición son datos que miden una misma variable de manera repetida en intervalos de tiempo de 500 ms y que presentan cierta variación con respecto a la cantidad real de posición se asume que esta variación se ajusta a una distribución normal que representamos con PDF's centrado en la media que es el mejor valor de la posición medido en un intervalo de medición de 10 mm y con una dispersión en proporción del error de esta medición, conocer la distribución del conjunto de datos para cada sensor nos proporciona información de la posición. En la Figura 14 se muestran tres PDFs, la PDF1(x) representa al sensor óptico en rojo, en verde la PDF2(x) corresponde al sensor odométrico y en azul PDF3(x) al sensor magnético. Nuestro trabajo está enfocado en fusionar los resultados de estas distribuciones para dar una mejor estimación de la posición.

Figura 14: La estimación de la posición se representa como una distribución de probabilidad

4.3 Interpolación de PDF's

En la Figura 14 se muestra el conjunto de datos medidos en posiciones discretas definidas con distribuciones de probabilidad (PDFs), sin embargo, en la práctica cuando se realizan las mediciones hay datos en los que el sistema se encuentra en alguna posición en la que no se guarda ese valor de medición, ya que la presencia de información faltante lleva consigo perdida de precisión en las estimaciones se debe tomar en cuenta alguna metodología para estimar estos datos faltantes. Para encontrar una solución a esto, proponemos el uso del método de la interpolación lineal con ella llegamos a la obtención del modelado de la distribución de la posición cuando toma un valor fuera de un intervalo discreto donde no hay mediciones disponibles.

La interpolación consiste en hallar un dato dentro de un intervalo en el que conocemos los valores extremos. Los puntos X1(N,µ,σ) y X2(N,µ,σ), sean dos variables independientes asociadas a una distribución normal, entonces estimamos un valor de X(N,µ,σ) ubicado dentro del intervalo X1 < X < X2 con sus estadísticos µ y σ(ver sección 3.2.1) asociados a una distribución F(x) interpolada.

4.3.1 Fusión de datos

La combinación de las distribuciones de los sensores depende de la asociación de las incertidumbres de estos y del impacto que den sobre el resultado de la medición cada distribución aporta información complementaria que puede incrementar la exactitud de la estimación de la posición del LED. Los resultados de las distribuciones que se fusionan mediante el producto de las PDF individuales de cada uno de los valores proporcionados por los diferentes sensores se muestran en la Figura 15. El producto final muestra una incertidumbre menor que cuando el error es proveniente de cada uno de los sensores de manera individual, ya que es posible que el sensor que presente una menor incertidumbre tendrá mayor impacto sobre el resultado de la medición, esta distribución total está asociada a un nuevo valor de posición.

Una vez obtenida la distribución total se calcula la media y la desviación estándar estimados asociados a esta distribución, el estrechamiento de la distribución indica que la incertidumbre implícita se reduce, y la media se centra con mayor precisión con respecto a la posición objetivo real. En la Tabla 2 se recopilan los resultados. Con este método modelamos el error de la posición para la localización del LED de potencia, hemos demostrado que este método es capaz de encontrar una estimación de la posición del LED y podemos concluir que este método es capaz de realizar una estimación de la posición aún cuando los valores de los sensores sean muy ruidosos y aún cuando las contribuciones individuales de los sensores no sean buenas.

• Fusedmm.jpg

  Figura 15:fusión de los sensores a diferentes posiciones

4.3.2 Estimadores de posición

Nuestro objetivo con la implementación de los filtros como estimadores de la posición es el de calcular de forma más precisa la posición del sistema. Primero fusionamos directamente las mediciones de los sensores en un solo vector de mediciones y después estos valores son utilizados por ambos filtros. En el caso del FK resuelve el problema de la estimación de la posición, tomando el vector de mediciones para retroalimentar con estos valores a las ecuaciones que definen el comportamiento del sistema descritas en la sección 3.3. La principal ventaja de los filtros de Kalman es su eficiencia computacional en la realización de las operaciones al utilizar datos con distribuciones unidimensionales. Aunque a diferencia de otros filtros, el filtro de Kalman no permite la posibilidad de añadir o quitar sensores ya que se basa en un modelo específico del comportamiento del sistema. La fiabilidad y respuesta del filtro está ligado a la formulación del modelo y una vez definido el sistema con las variables que retroalimentan al filtro ningún otro valor puede ser quitado o añadido debido a que a partir de estos valores se retroalimenta el filtro. En cambio, el filtro de partículas realiza una estimación de la posición en base al muestreo aleatorio de partículas, considerando una distribución inicial propuesta que se utiliza para realizar una estimación de las distribuciones combinando las observaciones obtenidas con el sistema a lo largo del tiempo.

• Kalman uno.jpg

  Figura 16: Datos iniciales

La Figura 16 representa los valores de medición de los datos iniciales que son procesados por ambos filtros. Los filtros procesan la medición de 15 muestras dando como resultado la señal estimada X. La Figura 17 muestra la estimación de las posiciones después de que los datos son procesados por los filtros, junto con los valores del movimiento real del objeto (rojo) con sus respectivos valores de posición estimados con ambos filtros, el filtro de kalman (azul) y el filtro de partículas(negro). Los resultados muestran la estimación de la posición en cada punto de medición, se observa que los valores de posición son estimados son muy similares a la real.

• Med filtros.jpg

  Figura 17: Estimación de las posiciones con FK y FP

En la Figura 18, se muestra la incertidumbre de la posición con los métodos implementados, la línea roja representa la incertidumbre generada al fusionar las incertidumbres procedentes de los sensores utilizados observamos que existe una diferencia considerable con respecto a la incertidumbre obtenida de manera individual de cada sensor, los resultados con este método oscilan entre 1 mm a 3 mm, adicionalmente, implementamos los algoritmos FK (azul) y FP (negra) con el propósito de disminuir la incertidumbre de la estimación de la posición, observamos que con ambas implementaciones se produce una reducción de la incertidumbre de 1.64 mm y 0.73 mm respectivamente, los valores obtenidos nos indican que tan fiable es la medición que estamos obteniendo con nuestro sistema de posicionamiento, al tomar una decisión del método a utilizar para mejorar la posición del sistema.

• Pf 2.jpg

  Figura 18: Desviaciones de los filtros

Los resultados de los algoritmos propuestos se muestran en la Tabla 2, donde se observan las posiciones y el error de medición, tanto para el algoritmo de mezcla de gaussianas con EM, FK y FP, los resultados muestran que los métodos implementados tienden a aproximarse a la posición real del sistema ambos filtros pueden ser utilizados para la estimación de la posición, sin embargo, el filtro de partículas es el algoritmo que realiza una mejor estimación de la posición en comparación con los otros métodos, además, también se puede ver en los resultados de la Tabla 2 como la desviación estándar es menor en el algoritmo filtro de partículas lo que indica que los resultados son más estables manteniéndose el LED localizado a lo largo de todo el recorrido del escaneo. Se puede observar como todos los valores de posiciones y el error comprendido entre los valores obtenidos se reducen drásticamente con la implementación del algoritmo FP, ya que el estimado que se obtiene sobre el error de su posición se mejora en comparación con los otros métodos.

Tabla 2: Datos obtenidos de todas las estimaciones (mm)

Tabla 3: Incertidumbres obtenidas de estimaciónes de posción discretas (mm)

4. Conclusiones

Se ha presentado un sistema para el escaneo de interiores en 3D, donde definimos un sistema para el dimensionamiento en 2D de las secciones transversales del interior de partes, nos enfocamos en realizar un sistema de medición para determinar de la posición del LED de potencia que fusiona sensores odométrico, magnético y óptico. Los resultados iniciales de las posiciones del LED llevaron a la observación de que es preciso que la referencia del sistema mantenga una posición de referencia fija, para que la asociación de datos no falle y las mediciones del sistema lleven una incorrecta estimación o error de la posición. En los resultados mostramos cómo las posiciones del LED pueden ser estimadas. El modelo lineal del sistema utilizado se basa en la asociación de datos, resuelto mediante mezcla de gaussianas con EM y después se desarrollaron y probaron los métodos de FK y FP con el propósito de estimar la posición del sistema de dimensionamiento, mostramos los resultados con la finalidad de destacar que ambos filtros tienen comportamientos similares, se encontró que existe un error sistemático de 1.64 mm y 0.73 mm respectivamente logrando de esta forma obtener resultados que permiten mejorar la medición de la posición del LED.

5. Referencias

[1] Z. Zhang, Flexible camera calibration by viewing a plane from unknown orientations, Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on 1 (1999) 666-673.

[2] S. Rupp, C. Winter, T. Wittenberg, Camera Calibration from Fiberscopic Views with Accuracy Evaluation, Bildverarbeitung für die Medizin 2006.

[3] O. Icasio-Hernández, J.-J. Gonzalez-Barbosa, J. Hurtado-Ramos, M. Viliesid-Alonso, 3d reconstruction of hollow parts analyzing images acquired by a fiberscope, Measurement Science and Technology 25 (7). doi:10.1088/0957-0233/25/7/075402.

[4] L. Chen, V. Bavigadda, T. Ko_dis, R. Howe, Fiber optic projection-imaging system for shape measurement in confined space, The ScientificWorld Journal 2014. doi:10.1155/2014/206569

[5] T. Stehle, D. Truhn, T. Aach, C. Trautwein, J. Tischendorf, Camera calibration for fish-eye lenses in endoscopy with an application to 3D reconstruction, in: Proceedings IEEE International Symposium on Biomedical Imaging (ISBI), IEEE, Washington, D.C., 2007, pp. 1176-1179 (CD_ROM, ISBN: 1-4244-0672-2).

[6] Institution or author. Title of the document. Year. [Online] (Date consulted: day, month and year). Available: http://www.scipedia.com/document.pdf. [Accessed day, month and year].

[7] J. P. Barreto, J. Roquette, P. Sturm, F. Fonseca, Automatic Camera Calibration Applied to Medical Endoscopy, Procedings of the British Machine Vision Conference 2009 (2009) 52.1-52.10doi:10.5244/C.23.52.

[8] R. Melo, J. Barreto, G. Falcão, A new solution for camera calibration and real-time image distortion correction in medical endoscopy-initial technical evaluation., IEEE transactions on bio-medical engineering 59 (3) (2012) 634-44. doi:10.1109/TBME.2011.2177268.

[9] C. Schmalz, F. Forster, A. Schick, E. Angelopoulou, An endoscopic 3d scanner based on structured light, Medical Image Analysis 16 (5) (2012) 1063-1072.doi:10.1016/j.media.2012.04.001

[10] M. Hayashibe, N. Suzuki, Y. Nakamura, Laser-scan endoscope system for intraoperative geometry acquisition and surgical robot safety management., Medical image analysis 10 (4) (2006) 509-19. doi:10.1016/j.media. 2006.03.001.

[11] C.h. Wu, Y.-n. Sun, C.-c. Chang, Three-Dimensional Modeling From Endoscopic Video Using Geometric Constraints Via Feature Positioning, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING 54 (7) (2007) 1199-1211.

[12] ] C. Wu, S. Narasimhan, B. Jaramaz, Shape-from-shading under near point lighting and partial views for orthopedic endoscopy, in: Proceedings of the First Int. Workshop on PACV 2007.

[13] G.-h. Wang, J.-q. Han, X.-m. Zhang, Three-dimensional reconstruction of endoscope images by a fast shape from shading method, Measurement Science and Technology 20 (12) (2009) 125801. doi:10.1088/0957-0233/ 20/12/125801.

[14] L. Criante, A. Lucesoli, B. Farabollini, F. Bonifazi, T. Rozzi, F. Simoni, Size measurement in endoscopic images by low coherence interferometry, Journal of Optics A: Pure and Applied Optics 11 (3) (2009) 034007. doi: 10.1088/1464-4258/11/3/034007.

[15] J. Penne, K. Höller, M. Stürmer, T. Schrauder, A. Schneider, R. Engel brecht, H. Feussner, B. Schmauss, J. Hornegger, Time-of-Flight 3-D endoscopy., Medical image computing and computer-assisted intervention : MICCAI ... International Conference on Medical Image Computing and Computer-Assisted Intervention 12 (Pt 1) (2009) 467-74.

[16] C. Daul, W. Blondel, From 2D towards 3D cartography of hollow organs, in: Computing Science and Automatic Control, CCE 2010, no. Cce, 2010, pp. 285-293.

[17] T. Seki, K. Oka, A. Naganawa, H. Yamashita, K. Kim, T. Chiba, Laser distance measurement using a newly developed composite-type optical fiberscope for fetoscopic laser surgery, Optics and Lasers in Engineering 48 (10) (2010) 974-977. doi:10.1016/j.optlaseng.2010.05.010.

[18] K. Arai, Method for 3D Object Reconstruction Using Several Portions of 2D Images from the Diferent Aspects Acquired with Image Scopes Included in the Fiber Retractor, International Journal of Advanced Research in Artificial Intelligence 1 (9) (2012) 14-19.

[19]C. Schmalz, F. Forster, A. Schick, E. Angelopoulou, An endoscopic 3d scanner based on structured light, Medical Image Analysis 16 (5) (2012)1063-1072. doi:10.1016/j.media.2012.04.001.

[20] M. Hartrumpf, R. Munser, Optical three-dimensional measurements by radially symmetric structured light projection, Applied Optics 36 (13) (1997) 2923-2928.

[21] D. Schaack, Making accurate, three-dimensional measurements through a standard borescope, Vol. 3397, 1998, pp. 264_276. doi:10.1117/12. 305062

[22] K. Hasegawa, K. Noda, Y. Sato, Electronic endoscope system for shape measurement, Vol. 16, 2002, pp. 792-795.

[23] C. Winter, I. Scholz, Reconstruction of tubes from monocular fiberscopic images-Application and first results, in: Vision, Modeling, and Visualization, 2005, pp. 57-64.

[24] G. Biegelbauer, M. Vincze, 3D Vision-Guided Bore Inspection System, in: Fourth IEEE International Conference on Computer Vision Systems (ICVS'06), no. Icvs, Ieee, 2006, pp. 22- 22. doi:10.1109/ICVS.2006.1

[25] H. D. Ford, R. P. Tatam, Passive OCT probe head for 3D duct inspection, Measurement Science and Technology 24 (9) (2013) 094001. doi:10.1088/0957-0233/24/9/094001.

[26] A. Müller, M. Schubert, E. Beleites, Noncontact three-dimensional laser measuring device for tracheoscopy, Annals of Otology, Rhinology and Laryngology 111 (9) (2002) 821-827.

[27] W. Dörfiel, Y. Sugano, D. Stalling, L. Coconu, D. Hentschel, G. Linÿ, C. Witt, Laser-based endoscopic measurement of airway dimensions, Pneumologie 57 (9) (2003) 503-509. doi:10.1055/s-2003-42220-1.

[28] J. Williamson, A. James, M. Phillips, D. Sampson, D. Hillman, P. Eastwood, Quantifying tracheobronchial tree dimensions: Methods, limitations and emerging techniques, European Respiratory Journal 34 (1) (2009) 42-55. doi:10.1183/09031936.00020408.

[29] J. Geng, J. Xie, Review of 3-d endoscopic surface imaging techniques, IEEE Sensors Journal 14 (4) (2014) 945_960. doi:10.1109/JSEN.2013.2294679.

[30] D. Yang, Z. Liu, F. Sun, J. Zhang, H. Liu, S. Wang, Recursive depth parametrization of monocular visual navigation: Observability analysis and performance evaluation, Information Sciences 287 (2014) 38_49. doi: 10.1016/j.ins.2014.07.025

[31] H. Firouzi, H. Najjaran, Real-time monocular vision-based object tracking with object distance and motion estimation, IEEE/ASME International Conference on Advanced Intelligent Mechatronics, AIM (2010) 987-992doi:10.1109/AIM.2010.5695936.

[32] Z. Zhang, Y. Han, Y. Zhou, M. Dai, A novel absolute localization estimation of a target with monocular vision, Optik 124 (12) (2013) 1218-1223. doi: 10.1016/j.ijleo.2012.03.032.

[33]A. Assa, F. Janabi-Shari_, Virtual visual servoing for multicamera pose estimation, IEEE/ASME Transactions on Mechatronics 20 (2) (2014) 789- 798. doi:10.1109/TMECH.2014.2305916.

[34] D. Burschka, E. Mair, Direct pose estimation with a monocular camera, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 4931 LNCS (2008) 440_453. doi:10.1007/978-3-540-78157-8\_34.

[35] B. Williams, G. Klein, I. Reid, Real-time slam relocalisation, 2007. doi: 10.1109/ICCV.2007.4409115.

[36] P. Owczarek, J. Go±li«ski, D. Rybarczyk, A. Kubacki, Control of an Electro-Hydraulic Manipulator by Vision System Using Central Point of a Marker Estimated via Kalman Filter, Springer International Publishing, Cham, 2016, pp. 587-596. doi:10.1007/978-3-319-29357-8\_51.

[37] A. W. Stroupe, M. C. Martin, T. Balch, Merging Gaussian Distributions for Object Localization in Multi-Robot Systems, Springer Berlin Heidelberg, Berlin, Heidelberg, 2001, Ch. 6, pp. 343- 352. doi:10.1007/ 3-540-45118-8\_35.

[38] D. Fox, W. Burgard, S. Thrun, Markov localization for mobile robots in dynamic environments, Journal of Artificial Intelligence Research 11 (1999) 391-427.

[39] J. O'Kane, Global localization using odometry, Vol. 2006, 2006, pp. 37-42. doi:10.1109/ROBOT.2006.1641158.

[40] L. Delahoche, C. Pegard, B. Marhic, P. Vasseur, Navigation system based on an omnidirectional vision sensor, Vol. 2, 1997, pp. 718-724.

[41] P. Eberhard, Q. Tang, Sensor data fusion for the localization and position control of one kind of omnidirectional mobile robots, 2013. doi:10.1007/ 978-3-7091-1289-2\_4.

[42] M. Caruso, T. Bratland, C. Smith, R. Schneider, Anisotropic magnetoresistive sensors: Theory and applications, Sensors (Peterborough, NH) 16 (3) (1999) 18-26.

[43] C. Schott, R. Racz, F. Betschart, R. Popovic, A new two-axis magnetic position sensor, Vol. 1, 2002, pp. 911-915.

[44] M. Bosch-Jorge, A. Soriano, A. Valera, A. J. Sánchez Salmerón, Detección y seguimiento de objetos móviles utilizando un escáner láser mediante filtros de kalman, Comité Español de Automática (CEA-IFAC), Valencia (Spain), 2014.

[45] J. Woo, Y. . Kim, J. . Lee, M. . Lim, Localization of mobile robot using particle filter, in: 2006 SICE-ICASE International Joint Conference, 2006, pp. 3031-3034

[46] P. Vadakkepat, L. Jing, Improved particle filter in sensor fusion for tracking randomly moving object, IEEE Transactions on Instrumentation and Measurement 55 (5) (2006) 1823-1832.

[47] C. Yuan, M. Lianchuan, W. Ma, Mobile target tracking based on hybrid open-loop monocular vision motion control strategy, Discrete Dynamics in Nature and Society 2015.

[48] Z. Boukhers, K. Shirahama, F. Li, M. Grzegorzek, Object detection and depth estimation for 3d trajectory extraction, in: Proceedings - International Workshop on Content-Based Multimedia Indexing, Vol. 2015-July, 2015.

[49] A. K. Sanjay S., S.D Kamble, Object detection and tracking using particle filters (5 2015).

[50] J.-Y. Bouguet, Camera calibration toolbox for matlab (2015).

[51] J. Y. Bouguet, Camera calibration toolbox for Matlab (2008).

[52] Y.-I. Curiel-Razo, O. Icasio-Hernández, G. Sepúlveda-Cervantes, J.-B. Hurtado-Ramos, J.-J. González-Barbosa, Leap motion controller three dimensional verification and polynomial correction, Measurement 93 (2016) 258 - 264. doi:http://dx.doi.org/10.1016/j.measurement.2016.07. 017.

[53] D. Elsaesser, Sensor data fusion using a probability density grid, FUSION 2007 - 2007 10th International Conference on Information Fusiondoi:10.1109/ICIF.2007.4408047.

[54] S. Schlegel, N. Korn, G. Scheuermann, On the interpolation of data with normally distributed uncertainty for visualization, IEEE Transactions on Visualization and Computer Graphics 18 (12) (2012) 2305-2314. doi: 10.1109/TVCG.2012.249

[55] S. Thrun, W. Burgard, D. Fox, Probabilistic robotics (intelligent robotics and autonomous agents).

[56] C. Winter, S. Rupp, M. Elter, C. Münzenmayer, H. Gerhäuser, T. Wit tenberg, Automatic adaptive enhancement for images obtained with fiberscopic endoscopes., IEEE transactions on bio-medical engineering 53 (10) (2006) 2035-46. doi:10.1109/TBME.2006.877110.

[57] L. Xu, Q. Yan, Y. Xia, J. Jia, Structure extraction from texture via relative total variation, ACM Transactions on Graphics (TOG).