Abstract

El treball d'aquesta tesi es centra en l'anàlisi de seqüències de vídeo, aplicant tècniques basades en models per extreure'n informació quantitativa. En concret, es realitzen diferents propostes en dues àrees d'aplicació: el seguiment de formes basat en models de contorns, i la detecció i seguiment de vehicles en imatges proveïdes per una camera instal·lada en una plataforma mòbil. El treball dedicat al seguiment de formes s'enquadra en el paradigma de contorns actius, del qual presentem una revisió de les diferents propostes existents. En primer lloc, mesurem el rendiment obtingut pels algorismes de seguiment més comuns (filtres basats en Kalman i filtres de partícules), i en segon lloc avaluem diferents aspectes de la seva implementació en un extens treball experimental on es consideren múltiples seqüències sintètiques, distorsionades amb diferents graus de soroll. Així, mitjançant aquest estudi determinem la millor manera d'implementar a la pràctica els algorismes de seguiment clàssics, i identifiquem els seus pros i contres. Seguidament, el treball s'orienta cap a la millora dels algoritmes de seguiment de contorns basats en filtres de partícules. Aquest algorismes aconsegueixen bons resultats sempre que el número de partícules utilitzades sigui suficient, però malauradament la quantitat de partícules requerides creix exponencialment amb el número de paràmetres a estimar. Per tant, i en el context del seguiment de contorns, presentem tres variants del filtre de partícules clàssic, corresponents a tres noves estratègies per tractar aquest problema. En primer lloc, proposem millorar el seguiment de contorns mirant de propagar més acuradament les partícules emprades per l'algorisme d'una imatge a la següent. Això ho duem a terme utilitzant una aproximació lineal de la funció de propagació òptima. La segona estratègia proposada es basa en estimar part dels paràmetres de manera analítica. Així, es pretén fer un ús més productiu de les partícules emprades, reduint la part dels paràmetres del model que s'han d'estimar amb elles. El tercer mètode proposat té com a objectiu treure profit del fet de que, en aplicacions de seguiment de contorns, sovint els paràmetres relatius a la transformació rígida es poden estimar prou acuradament independentment de la deformació local que el contorn presenti. Això s'utilitza per realitzar una millor propagació de les partícules, concentrant-les més densament en la zona on el contorn seguit es troba. Aquestes tres propostes es validen de manera extensiva en seqüències amb diferents nivells de soroll, amb les que es mesura la millora aconseguida. A continuació proposem tractar directament l'origen del problema anterior mitjançant la reducció del nombre de paràmetres a estimar per tal de seguir una determinada forma d'interès. Per aconseguir això, proposem modelar aquesta forma usant múltiples models, on cadascun requereix una quantitat de paràmetres inferior a la requerida per un únic model. Es proposa un nou mètode per aprendre aquests models a partir d'un conjunt d'entrenament, així com un nou algorisme per emprar-los en el seguiment dels contorns. Els resultats experimentals certifiquen la validesa d'aquesta proposta. Finalment, la tesi es centra en el desenvolupament d'un sistema de detecció i seguiment de vehicles. Les propostes realitzades comprenen: un mòdul de detecció de vehicles, un mòdul dedicat a determinar la posició i velocitat 3D dels vehicles detectats, i un mòdul de seguiment per actualitzar la localització dels vehicles a la carretera de manera precisa i eficient. Es realitzen diverses aportacions originals en aquests tres temes, i se n'avalua el rendiment. This thesis focuses the analysis of video sequences, applying model-based techniques for extracting quantitative information. In particular, we make several proposals in two application areas: shape tracking based on contour models, and detection and tracking of vehicles in images acquired by a camera installed on a mobile platform.The work devoted to shape tracking follows the paradigm of active contours, from which we present a review of the existent approaches. First, we measure the performance of the most common algorithms (Kalman based filters and particle filters), and then we evaluate its implementation aspects trough an extensive experimental study, where several synthetic sequences are considered, distorted with different degrees of noise. Thus, we determine the best way to implement in practice these classical tracking algorithms, and we identify its benefits and drawbacks.Next, the work is oriented towards the improvement of contour tracking algorithms based on particle filters. These algorithms reach good results provided that the number of particles is high enough, but unfortunately the required number of particles grows exponentially with the number of parameters to be estimated. Therefore, and in the context of contour tracking, we present three variants of the classical particle filter, corresponding to three new strategies to deal with this problem. First, we propose to improve the contour tracking by propagating more accurately the particles from one image to the next one. This is done by using a linear approximation of the optimal propagation function. The second proposed strategy is based in estimating part of the parameters analytically. Thus, we aim to do a more productive use of the particles, reducing the amount of model parameters that must be estimated through them. The third proposed method aims to exploit the fact that, in contour tracking applications, the parameters related to the rigid transform can be estimated accurately enough independently from the local deformation presented by the contour. This is used to perform a better propagation of the particles, concentrating them more densely in the zone where the tracked contour is located. These three proposals are validated extensively in sequences with different noise levels, on which the reached improvement is evaluated.After this study, we propose to deal directly with the origin of the previous problem by reducing the number of parameters to be estimated in order to follow a given shape of interest. To reach that, we propose to model the shape using multiple models, where each one requires a lower quantity of parameters than when using a unique model. We propose a new method to learn these models from a training set, and a new algorithm to use the obtained models for tracking the contours. The experimental results certify the validity of this proposal.Finally, the thesis focuses on the development of a system for the detection and tracking of vehicles. The proposals include: a vehicle detection module, a module devoted to the determination of the three-dimensional position and velocity of the detected vehicles, and a tracking module for updating the location of vehicles on the road in a precise and efficient manner. Several original contributions are done in these three subjects, and their performance is evaluated empirically.

Abstract

El treball d'aquesta tesi es centra en l'anàlisi de seqüències de vídeo, aplicant tècniques basades en models per extreure'n informació quantitativa. En concret, es realitzen diferents propostes en dues àrees d'aplicació: el seguiment de formes basat en models de contorns, i la detecció i seguiment de vehicles en imatges proveïdes per una camera instal·lada en una plataforma mòbil."br/"El treball dedicat al seguiment de formes s'enquadra en el paradigma de contorns actius, del qual presentem una revisió de les diferents propostes existents. En primer lloc, mesurem el rendiment obtingut pels algorismes de seguiment més comuns (filtres basats en Kalman i filtres de partícules), i en segon lloc avaluem diferents aspectes de la seva implementació en un extens treball experimental on es consideren múltiples seqüències sintètiques, distorsionades amb diferents graus de soroll. Així, mitjançant aquest estudi determinem la millor manera d'implementar a la pràctica els algorismes de seguiment clàssics, i identifiquem els seus pros i contres."br/"Seguidament, el treball s'orienta cap a la millora dels algoritmes de seguiment de contorns basats en filtres de partícules. Aquest algorismes aconsegueixen bons resultats sempre que el número de partícules utilitzades sigui suficient, però malauradament la quantitat de partícules requerides creix exponencialment amb el número de paràmetres a estimar. Per tant, i en el context del seguiment de contorns, presentem tres variants del filtre de partícules clàssic, corresponents a tres noves estratègies per tractar aquest problema. En primer lloc, proposem millorar el seguiment de contorns mirant de propagar més acuradament les partícules emprades per l'algorisme d'una imatge a la següent. Això ho duem a terme utilitzant una aproximació lineal de la funció de propagació òptima. La segona estratègia proposada es basa en estimar part dels paràmetres de manera analítica. Així, es pretén fer un ús més productiu de les partícules emprades, reduint la part dels paràmetres del model que s'han d'estimar amb elles. El tercer mètode proposat té com a objectiu treure profit del fet de que, en aplicacions de seguiment de contorns, sovint els paràmetres relatius a la transformació rígida es poden estimar prou acuradament independentment de la deformació local que el contorn presenti. Això s'utilitza per realitzar una millor propagació de les partícules, concentrant-les més densament en la zona on el contorn seguit es troba. Aquestes tres propostes es validen de manera extensiva en seqüències amb diferents nivells de soroll, amb les que es mesura la millora aconseguida."br/"A continuació proposem tractar directament l'origen del problema anterior mitjançant la reducció del nombre de paràmetres a estimar per tal de seguir una determinada forma d'interès. Per aconseguir això, proposem modelar aquesta forma usant múltiples models, on cadascun requereix una quantitat de paràmetres inferior a la requerida per un únic model. Es proposa un nou mètode per aprendre aquests models a partir d'un conjunt d'entrenament, així com un nou algorisme per emprar-los en el seguiment dels contorns. Els resultats experimentals certifiquen la validesa d'aquesta proposta."br/"Finalment, la tesi es centra en el desenvolupament d'un sistema de detecció i seguiment de vehicles. Les propostes realitzades comprenen: un mòdul de detecció de vehicles, un mòdul dedicat a determinar la posició i velocitat 3D dels vehicles detectats, i un mòdul de seguiment per actualitzar la localització dels vehicles a la carretera de manera precisa i eficient. Es realitzen diverses aportacions originals en aquests tres temes, i se n'avalua el rendiment. This thesis focuses the analysis of video sequences, applying model-based techniques for extracting quantitative information. In particular, we make several proposals in two application areas: shape tracking based on contour models, and detection and tracking of vehicles in images acquired by a camera installed on a mobile platform."br/"The work devoted to shape tracking follows the paradigm of active contours, from which we present a review of the existent approaches. First, we measure the performance of the most common algorithms (Kalman based filters and particle filters), and then we evaluate its implementation aspects trough an extensive experimental study, where several synthetic sequences are considered, distorted with different degrees of noise. Thus, we determine the best way to implement in practice these classical tracking algorithms, and we identify its benefits and drawbacks."br/"Next, the work is oriented towards the improvement of contour tracking algorithms based on particle filters. These algorithms reach good results provided that the number of particles is high enough, but unfortunately the required number of particles grows exponentially with the number of parameters to be estimated. Therefore, and in the context of contour tracking, we present three variants of the classical particle filter, corresponding to three new strategies to deal with this problem. First, we propose to improve the contour tracking by propagating more accurately the particles from one image to the next one. This is done by using a linear approximation of the optimal propagation function. The second proposed strategy is based in estimating part of the parameters analytically. Thus, we aim to do a more productive use of the particles, reducing the amount of model parameters that must be estimated through them. The third proposed method aims to exploit the fact that, in contour tracking applications, the parameters related to the rigid transform can be estimated accurately enough independently from the local deformation presented by the contour. This is used to perform a better propagation of the particles, concentrating them more densely in the zone where the tracked contour is located. These three proposals are validated extensively in sequences with different noise levels, on which the reached improvement is evaluated."br/"After this study, we propose to deal directly with the origin of the previous problem by reducing the number of parameters to be estimated in order to follow a given shape of interest. To reach that, we propose to model the shape using multiple models, where each one requires a lower quantity of parameters than when using a unique model. We propose a new method to learn these models from a training set, and a new algorithm to use the obtained models for tracking the contours. The experimental results certify the validity of this proposal."br/"Finally, the thesis focuses on the development of a system for the detection and tracking of vehicles. The proposals include: a vehicle detection module, a module devoted to the determination of the three-dimensional position and velocity of the detected vehicles, and a tracking module for updating the location of vehicles on the road in a precise and efficient manner. Several original contributions are done in these three subjects, and their performance is evaluated empirically.

Abstract

High-quality positioning is of fundamental importance for an increasing variety of advanced driver assistance systems. GNSS-based systems are predominant outdoors but usually fail in enclosed areas where a direct line-of-sight to satellites is unavailable. For those scenarios, external infrastructure-based positioning systems are a promising alternative. However, external position detections have no identity information as they may belong to any object, i.e. they are anonymous. Moreover, the area covered by external sensors may contain gaps where objects cannot be observed leading to a correspondence problem between multiple detections and actual objects. We present a global tracking-by-identification approach as extension to existing local trackers that uses odometry sensor data of vehicles to find the corresponding subset of external detections. Thus, our approach enables the assignment of anonymous external detections to a specific vehicular endpoint and the estimation of its current position without requiring an initial location. The problem is decomposed resulting in a two step approach. The first algorithm determines possible track segment combinations which are used as track hypotheses. The track hypothesis generation algorithm considers spatio-temporal relationships between track segments, thus avoiding exponentially growing complexity inherent to data association problems. The second algorithm compares track hypotheses to the relative vehicle trajectory using pseudo-distance correlation metrics. In a detailed evaluation, we demonstrate that the proposed approach is able to reliably perform global tracking and identification of camera-observed vehicles in real-time, despite relatively large coverage gaps of the external sensors.

Abstract

In this contribution we propose methods for vehicle detection and tracking for the Advanced Driver Assistance Systems (ADAS) that work under extremely adverse weather conditions. Most of the state-of-the-art vehicle detection and tracking methods are based either on appearance based vehicle recognition or on extraction and tracking of dedicated image key points. Visibility deterioration due to rain drops and water streaks on the windshield, swirling spray, and fog lead to a drastic performance reduction or even to a complete failure of these approaches. In this contribution we propose several methods for coping with these phenomena. In addition to an extension of the feature-based tracking method, which copes with outliers and temporarily disappearing key points, we present a detection and tracking method based on search for vehicle rear lights and whole rear views in the saturation channel. Utilization of symmetry operators and search space restriction allows to detect and track vehicles even in pouring rain conditions. Furthermore, we present two applications of the above-described methods. Estimation of the strength of spray produced by preceding vehicles allows to draw conclusions about the overall visibility conditions and to adjust the intensity of one's own rear lights. Besides, a restoration of deteriorated image regions becomes possible.

Abstract

Maintenance tasks are crucial for all kind of industries, especially in extensive industrial plants, like solar thermal power plants. The incorporation of robots is a key issue for automating inspection activities, as it will allow a constant and regular control over the whole plant. This paper presents an autonomous robotic system to perform pipeline inspection for early detection and prevention of leakages in thermal power plants, based on the work developed within the MAINBOT (http://www.mainbot.eu) European project. Based on the information provided by a thermographic camera, the system is able to detect leakages in the collectors and pipelines. Beside the leakage detection algorithms, the system includes a particle filter-based tracking algorithm to keep the target in the field of view of the camera and to avoid the irregularities of the terrain while the robot patrols the plant. The information provided by the particle filter is further used to command a robot arm, which handles the camera and ensures that the target is always within the image. The obtained results show the suitability of the proposed approach, adding a tracking algorithm to improve the performance of the leakage detection system. Document type: Article