Multi-view structure from motion (SfM) estimates the position and orientation of pictures in a common 3D coordinate frame. When views are treated incrementally, this external calibration can be ...subject to drift, contrary to global methods that distribute residual errors evenly. We propose a new global calibration approach based on the fusion of relative motions between image pairs. We improve an existing method for robustly computing global rotations. We present an efficient a contrario trifocal tensor estimation method, from which stable and precise translation directions can be extracted. We also define an efficient translation registration method that recovers accurate camera positions. These components are combined into an original SfM pipeline. Our experiments show that, on most datasets, it outperforms in accuracy other existing incremental and global pipelines. It also achieves strikingly good running times: it is about 20 times faster than the other global method we could compare to, and as fast as the best incremental method. More importantly, it features better scalability properties.
The RANSAC algorithm (RANdom SAmple Consensus) is a robust method to estimate parameters of a model fitting the data, in presence of outliers among the data. Its random nature is due only to ...complexity considerations. It iteratively extracts a random sample out of all data, of minimal size sufficient to estimate the parameters. At each such trial, the number of inliers (data that fits the model within an acceptable error threshold) is counted. In the end, the set of parameters maximizing the number of inliers is accepted. The variant proposed by Moisan and Stival consists in introducing an a contrario criterion to avoid the hard thresholds for inlier/outlier discrimination. It has three consequences: The threshold for inlier/outlier discrimination is adaptive, it does not need to be fixed. It gives a decision on the adequacy of the final model: it does not provide a wrong set of parameters if it does not have enough confidence. The procedure to draw a new sample can be amended as soon as one set of parameters is deemed meaningful: the new sample can be drawn among the inliers of this model. In this particular instantiation, we apply it to the estimation of the homography registering two images of the same scene. The homography is an 8-parameter model arising in two situations when using a pinhole camera: the scene is planar (a painting, a facade, etc.) or the viewpoint location is fixed (pure rotation around the optical center). When the homography is found, it is used to stitch the images in the coordinate frame of the second image and build a panorama. The point correspondences between images are computed by the SIFT algorithm.
In a stereo image pair, the fundamental matrix encodes the rigidity constraint of the scene. It combines the internal parameters of both cameras (which can be the same) and their relative position ...and orientation. It associates to image points in one view the so-called epipolar line in the other view, which is the locus of projection of the same 3D point, whose particular position on the straight line is determined by its depth. Reducing the correspondence search to a 1D line instead of the 2D image is a large benefit enabling the computation of the dense 3D scene. The estimation of the matrix depends on at least seven pairs of corresponding points in the images. The algorithm discarding outliers presented here is a variant of the classical RANSAC (RANdom SAmple Consensus) based on a contrario methodology and proposed first by Moisan and Stival in 2004 under the name ORSA. The distinguishing feature of this algorithm compared to other RANSAC variants is that the measure of validity of a set of point pairs is not its sheer number,but a combination of this number and the geometric precision of the points.
Can conversational videos captured from multiple egocentric viewpoints reveal the map of a scene in a cost-efficient way? We seek to answer this question by proposing a new problem: efficiently ...building the map of a previously unseen 3D environment by exploiting shared information in the egocentric audio-visual observations of participants in a natural conversation. Our hypothesis is that as multiple people ("egos") move in a scene and talk among themselves, they receive rich audio-visual cues that can help uncover the unseen areas of the scene. Given the high cost of continuously processing egocentric visual streams, we further explore how to actively coordinate the sampling of visual information, so as to minimize redundancy and reduce power use. To that end, we present an audio-visual deep reinforcement learning approach that works with our shared scene mapper to selectively turn on the camera to efficiently chart out the space. We evaluate the approach using a state-of-the-art audio-visual simulator for 3D scenes as well as real-world video. Our model outperforms previous state-of-the-art mapping methods, and achieves an excellent cost-accuracy tradeoff. Project: http://vision.cs.utexas.edu/projects/chat2map.
Abstract
Structure‐from‐Motion (SfM) software and unmanned aerial vehicles (
UAV
s) have been increasingly adopted in the geosciences. The current mainstream generation of 3D models is still ...expensive as it relies on
UAV
s, Differential Global Navigation Satellite System (
DGNSS
) ground control points and commercial software. This paper proposes an end‐to‐end reproducible SfM workflow with minimal legal, financial or field issues. The procedure avoids both
UAV
s and
DGNSS
and relies on open‐source software. Interlocked models of a rocky shore in Normandy, France were generated at different scales and point densities, being georeferenced using free spatial data. A spherical target was used for scaling and assessing the relative accuracy, which was better than 1 cm.
Résumé
Les logiciels de photogrammétrie « Structure from Motion » (SfM) couplés aux drones sont de plus en plus répandus en géosciences. La méthode couramment utilisée pour générer les modèles 3D reste très coûteuse car elle implique le déploiement de drones, l'acquisition de points de contrôle par géolocalisation différentielle (
DGNSS
) et l'achat de licences de logiciels commerciaux. Cet article décrit une nouvelle méthode complète et reproductible minimisant les aspects légaux, financiers et les contraintes de terrain. L'approche présentée se base sur des logiciels open source et n'implique ni drone, ni
DGNSS
. Des modèles imbriqués ont été générés à différentes échelles et densités sur une côte rocheuse en Normandie. Ces modèles ont été géoréférencés à l'aide de données disponibles gratuitement. De plus, l'utilisation d'une cible sphérique a permis la mise à l’échelle ainsi que l’évaluation de la précision relative, inférieure à 1 cm.
Zusammenfassung
Structure from Motion (SfM) Software und Drohnen (
UAV
) werden verstärkt in den Geowissenschaften eingesetzt. Die heutzutage übliche Generierung von 3D Modellen ist allerdings immer noch teuer, da sie ein
UAV
, Passpunkte aus differentiellem
GNSS
(
DGNSS
) und kommerzielle Software voraussetzt. Dieser Beitrag stellt einen reproduzierbaren SfM Arbeitsfluss dar, der mit minimalen Bedingungen hinsichtlich rechtlicher und finanzieller Fragen und dem Einsatz im Feld auskommt. Die Prozedur vermeidet
UAV
und
DGNSS
und stützt sich auf Open‐Source Software. In einander verzahnte Modelle eines felsigen Strandes in der Normandie in Frankreich, werden in verschiedenen Maßstäben und Punktdichten generiert und mit Hilfe von frei verfügbaren räumlichen Daten georeferenziert. Eine kugelförmige Zielmarke wurde für die Skalierung und die Bestimmung der relativen Genauigkeit verwendet, welche besser als 1 cm war.
Resumen
Las técnicas de correspondencia por estructura a partir del movimiento (SfM) y los vehículos aéreos no tripulados (
UAV
) se abren paso cada vez más en las geociencias. Las corrientes principales en la generación de modelos 3D sigue siendo costosa ya que se basan en
UAV
, puntos de apoyo terrestres diferenciales del Sistema Global de Navegación por Satélite (
DGNSS
) y software comercial. Este documento propone un flujo de trabajo SfM reproducible de extremo a extremo con un mínimo de problemas legales, financieros o de campo. El procedimiento evita los
UAV
y
DGNSS
y se basa en software de código abierto. Los modelos entrelazados de una costa rocosa en Normandía, Francia, se generaron a diferentes escalas y densidades de puntos, siendo georreferenciados utilizando datos espaciales libres. Se utilizó un objetivo esférico para escalar y evaluar la precisión relativa, que era mejor que 1 cm.
摘要
在地球科学领域中, 运动恢复结构(SfM)软件和无人机 (
UAV
) 的使用日渐频繁。目前用于生成三维模型的主流方式依然昂贵,因其有赖于无人机、差分全球导航卫星系统 (
DGNSS
) 量测的地面控制点、与商业软件。本文提出一个全程可重复的SfM工作流程,其法律方面、费用、以及作业场的问题均为最低。该程序避免使用无人机和
DGNSS
, 并应用开源软件。利用该方法生成位于法国诺曼底的岩石海岸的具有多尺度与不同点密度的三维模型, 并基于开源空间数据进行地理配准。利用一个用球形标评估尺度与相对精度, 成果优于1厘米。
Structure‐from‐Motion (SfM) software and unmanned aerial vehicles (UAVs) have been increasingly adopted in the geosciences. The current mainstream generation of 3D models is still expensive as it ...relies on UAVs, Differential Global Navigation Satellite System (DGNSS) ground control points and commercial software. This paper proposes an end‐to‐end reproducible SfM workflow with minimal legal, financial or field issues. The procedure avoids both UAVs and DGNSS and relies on open‐source software. Interlocked models of a rocky shore in Normandy, France were generated at different scales and point densities, being georeferenced using free spatial data. A spherical target was used for scaling and assessing the relative accuracy, which was better than 1 cm.
Résumé
Les logiciels de photogrammétrie « Structure from Motion » (SfM) couplés aux drones sont de plus en plus répandus en géosciences. La méthode couramment utilisée pour générer les modèles 3D reste très coûteuse car elle implique le déploiement de drones, l'acquisition de points de contrôle par géolocalisation différentielle (DGNSS) et l'achat de licences de logiciels commerciaux. Cet article décrit une nouvelle méthode complète et reproductible minimisant les aspects légaux, financiers et les contraintes de terrain. L'approche présentée se base sur des logiciels open source et n'implique ni drone, ni DGNSS. Des modèles imbriqués ont été générés à différentes échelles et densités sur une côte rocheuse en Normandie. Ces modèles ont été géoréférencés à l'aide de données disponibles gratuitement. De plus, l'utilisation d'une cible sphérique a permis la mise à l’échelle ainsi que l’évaluation de la précision relative, inférieure à 1 cm.
Zusammenfassung
Structure from Motion (SfM) Software und Drohnen (UAV) werden verstärkt in den Geowissenschaften eingesetzt. Die heutzutage übliche Generierung von 3D Modellen ist allerdings immer noch teuer, da sie ein UAV, Passpunkte aus differentiellem GNSS (DGNSS) und kommerzielle Software voraussetzt. Dieser Beitrag stellt einen reproduzierbaren SfM Arbeitsfluss dar, der mit minimalen Bedingungen hinsichtlich rechtlicher und finanzieller Fragen und dem Einsatz im Feld auskommt. Die Prozedur vermeidet UAV und DGNSS und stützt sich auf Open‐Source Software. In einander verzahnte Modelle eines felsigen Strandes in der Normandie in Frankreich, werden in verschiedenen Maßstäben und Punktdichten generiert und mit Hilfe von frei verfügbaren räumlichen Daten georeferenziert. Eine kugelförmige Zielmarke wurde für die Skalierung und die Bestimmung der relativen Genauigkeit verwendet, welche besser als 1 cm war.
Resumen
Las técnicas de correspondencia por estructura a partir del movimiento (SfM) y los vehículos aéreos no tripulados (UAV) se abren paso cada vez más en las geociencias. Las corrientes principales en la generación de modelos 3D sigue siendo costosa ya que se basan en UAV, puntos de apoyo terrestres diferenciales del Sistema Global de Navegación por Satélite (DGNSS) y software comercial. Este documento propone un flujo de trabajo SfM reproducible de extremo a extremo con un mínimo de problemas legales, financieros o de campo. El procedimiento evita los UAV y DGNSS y se basa en software de código abierto. Los modelos entrelazados de una costa rocosa en Normandía, Francia, se generaron a diferentes escalas y densidades de puntos, siendo georreferenciados utilizando datos espaciales libres. Se utilizó un objetivo esférico para escalar y evaluar la precisión relativa, que era mejor que 1 cm.
摘要
在地球科学领域中, 运动恢复结构(SfM)软件和无人机 (UAV) 的使用日渐频繁。目前用于生成三维模型的主流方式依然昂贵,因其有赖于无人机、差分全球导航卫星系统 (DGNSS) 量测的地面控制点、与商业软件。本文提出一个全程可重复的SfM工作流程,其法律方面、费用、以及作业场的问题均为最低。该程序避免使用无人机和 DGNSS, 并应用开源软件。利用该方法生成位于法国诺曼底的岩石海岸的具有多尺度与不同点密度的三维模型, 并基于开源空间数据进行地理配准。利用一个用球形标评估尺度与相对精度, 成果优于1厘米。
The mainstream generation of 3D models in the geosciences remains expensive as it relies on UAVs (drones), GNSS control points and commercial structure‐from‐motion (SfM) software. This paper proposes an end‐to‐end workflow which avoids both UAVs and GNSS and relies on open‐source SfM software. Interlocked models of a rocky shore in Normandy, France were generated at different scales and point densities, using a spherical target for scaling and assessing the relative accuracy, which was better than 1 cm.
In this work we present a method to train a plane-aware convolutional neural network for dense depth and surface normal estimation as well as plane boundaries from a single indoor 360 image. Using ...our proposed loss function, our network outperforms existing methods for single-view, indoor, omnidirectional depth estimation and provides an initial benchmark for surface normal prediction from 360 images. Our improvements are due to the use of a novel plane-aware loss that leverages principal curvature as an indicator of planar boundaries. We also show that including geodesic coordinate maps as network priors provides a significant boost in surface normal prediction accuracy. Finally, we demonstrate how we can combine our network's outputs to generate high quality 3D "pop-up" models of indoor scenes.
Calculer une représentation 3D d'une scène rigide à partir d'une collection d'images est aujourd'hui possible grâce aux progrès réalisés par les méthodes de stéréo-vision multi-vues, et ce avec un ...simple appareil photographique. Le principe de reconstruction, découlant de travaux de photogrammétrie, consiste à recouper les informations provenant de plusieurs images, prises de points de vue différents, pour identifier les positions et orientations relatives de chaque cliché. Une fois les positions et orientations de caméras déterminées (calibration externe), la structure de la scène peut être reconstruite. Afin de résoudre le problème de calcul de la structure à partir du mouvement des caméras (Structure-from-Motion), des méthodes séquentielles et globales ont été proposées. Par nature, les méthodes séquentielles ont tendance à accumuler les erreurs. Cela donne lieu le plus souvent à des trajectoires de caméras qui dérivent et, lorsque les photos sont acquises autour d'un objet, à des reconstructions où les boucles ne se referment pas. Au contraire, les méthodes globales considèrent le réseau de caméras dans son ensemble. La configuration de caméras est recherchée et optimisée pour conserver au mieux l'ensemble des contraintes de cyclicité du réseau. Des reconstructions de meilleure qualité peuvent être obtenues, au détriment toutefois du temps de calcul. Cette thèse propose d'analyser des problèmes critiques au cœur de ces méthodes de calibration externe et de fournir des solutions pour améliorer leur performance (précision, robustesse, vitesse) et leur facilité d'utilisation (paramétrisation restreinte).Nous proposons tout d'abord un algorithme de suivi de points rapide et efficace. Nous montrons ensuite que l'utilisation généralisée de l'estimation robuste de modèles paramétriques a contrario permet de libérer l'utilisateur du réglage de seuils de détection, et d'obtenir une chaine de reconstruction qui s'adapte automatiquement aux données. Puis dans un second temps, nous utilisons ces estimations robustes adaptatives et une formulation du problème qui permet des optimisations convexes pour construire une chaine de calibration globale capable de passer à l'échelle. Nos expériences démontrent que les estimations identifiées a contrario améliorent de manière notable la qualité d'estimation de la position et de l'orientation des clichés, tout en étant automatiques et sans paramètres, et ce même sur des réseaux de caméras complexes. Nous proposons enfin d'améliorer le rendu visuel des reconstructions en proposant une optimisation convexe de la consistance colorée entre images
To compute a 3D representation of a rigid scene from a collection of pictures is now possible thanks to the progress made by the multiple-view stereovision methods, even with a simple camera. The reconstruction process, arising from photogrammetry, consists in integrating information from multiple images taken from different viewpoints in order to identify the relative positions and orientations. Once the positions and orientations (external calibration) of the cameras are retrieved, the structure of the scene can be reconstructed. To solve the problem of calculating the Structure from Motion (SfM), sequential and global methods have been proposed. By nature, sequential methods tend to accumulate errors. This is observable in trajectories of cameras that are subject to drift error. When pictures are acquired around an object it leads to reconstructions where the loops do not close. In contrast, global methods consider the network of cameras as a whole. The configuration of cameras is searched and optimized in order to preserve at best the constraints of the cyclical network. Reconstructions of better quality can be obtained, but at the expense of computation time. This thesis aims at analyzing critical issues at the heart of these methods of external calibration and at providing solutions to improve their performance(accuracy , robustness and speed) and their ease of use (restricted parametrization).We first propose a fast and efficient feature tracking algorithm. We then show that the widespread use of a contrario robust estimation of parametric models frees the user from choosing detection thresholds, and allows obtaining a reconstruction pipeline that automatically adapts to the data. Then in a second step, we use the adaptive robust estimation and a series of convex optimizations to build a scalable global calibration chain. Our experiments show that the a contrario based estimations improve significantly the quality of the pictures positions and orientations, while being automatic and without parameters, even on complex camera networks. Finally, we propose to improve the visual appearance of the reconstruction by providing a convex optimization to ensure the color consistency between images
PDF
