Thèse Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier Umr 5506 161 Rue Ada F - 34095 Montpellier Cedex 05 33 04 67 41 85 85 Fax 33 04 67 41 85 00 Www.Lirmm.Frde l'Es H/F - Doctorat.Gouv.Fr

Établissement : Université de Montpellier École doctorale : I2S - Information, Structures, Systèmes Laboratoire de recherche : Laboratoire d'Informatique, de Robotique et de Micro-électronique de Montpellier Direction de la thèse : Philippe FRAISSE ORCID 0000000309110743 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-10-01T23:59:59 La manipulation d'objets déformables nécessite de prendre en compte la forme, les forces de contact, la compliance locale, le frottement et l'incertitude. Le servocontrôle de forme basé sur la vision permet de reconstruire et de contrôler la déformation visible d'objets souples, tandis que la méthode FEM en ligne permet d'étendre cette estimation aux régions masquées. Néanmoins, la perception basée uniquement sur la vision ne permet pas d'observer la mécanique de contact locale au niveau de la préhension ou le long du corps du robot. Ces conditions cachées déterminent souvent le résultat de la tâche : une forme visible similaire peut résulter de différentes distributions de rigidité, conditions de contact, glissements naissants ou distributions de force. Cette thèse développe un cadre tenant compte des informations tactiles et de l'incertitude pour la manipulation à deux bras d'objets déformables, dans lequel un état de croyance physique assure l'interface entre l'estimation basée sur un modèle, le contrôle sûr et la prise de décision générative. Une question scientifique centrale est de savoir quelles grandeurs physiques sont identifiables à partir des interactions tactiles et comment ces informations peuvent être utilisées pour le contrôle et l'apprentissage de politiques. La thèse cible donc les croyances physiques pertinentes pour la tâche, telles que la compliance locale normale et tangentielle, la rigidité à la flexion effective, l'amortissement, l'état de frottement ou de glissement, les conditions aux limites de préhension et l'incertitude sur la déformation prédite. Cet état de croyance est conçu pour conserver les informations requises pour une manipulation robuste d'objets déformables tout en garantissant que le problème d'estimation reste bien posé et directement exploitable tant par les algorithmes de contrôle que par les politiques apprises.

As part of the Embodied AI project between CNRS laboratories in France and Singapore (www.cnrsatcreate.cnrs.fr/embodied-ai/), this dissertation will aim to develop methods for estimating and controlling a robotic arm to manipulate the shape of soft objects by combining vision and touch in situations of uncertainty. Working meetings and regular exchanges with Harold Soh, Professor at the National University of Singapore (NUS), will take place throughout the course of the thesis. A stay at NUS lasting approximately 6 months during the thesis is also planned. The research will focus on estimating tactile/FEM beliefs and robust control, while the work conducted at NUS will focus on belief-conditioned generative policies for manipulating deformable objects. The first objective is to extend a SOFA-based digital twin of a deformable object with haptic, force, and proprioceptive feedback. SOFA primarily serves as a real-time, structured direct simulator: the predicted deformations, forces, and contact states are compared to RGB-D data, force/torque at the wrist, joint torques, and haptic signals. The thesis explores a hierarchy of estimation methods, including reduced-order sensitivity models, local interaction matrices, derivative-free updates for low-dimensional parameters, learned residual models, and, where applicable, implicit differentiation via selected components of the reduced solver. The result is a calibrated physical belief state regarding the object's shape, contact state, local compliance, slippage risk, and prediction uncertainty.
The second objective characterizes tactile identifiability and active exploration. The thesis investigates how active tactile exploration movements, contact location, grasp configuration, object geometry, and sensor modality affect the observability of compliance and friction, distinguishing between beliefs recoverable from passive contact and those requiring active excitation. Since tactile measurements are local, an informative estimate requires targeted movements: the robot will actively select small, safe probing actions that reduce the uncertainty of beliefs while respecting force and constraint limits, thereby transforming the grasp into an estimation tool.
The third objective uses the resulting belief state and its calibrated uncertainty for a control strategy that takes into account tactile information and forces. A predictive or hybrid force-position controller regulates both deformation and contact forces while accounting for uncertainty: it prioritizes information-gathering actions when the belief is highly uncertain, imposes constraint or force limits with margins that widen as observability degrades, and uses tactile feedback to detect changes in the contact state (slip, unexpected compliance) and trigger a re-estimation. This provides an interpretable and safe control layer for contact state estimation and manipulation in the presence of object deformation.

- Master ou diplôme d'ingénieur en robotique, mécatronique ou dans un domaine proche.
- Solides connaissances en modélisation, dynamique et contrôle des robots.
- Maîtrise de la programmation en Python et C/C++.
- Des connaissances de base en mécanique des milieux continus ou en FEM sont un plus.
- Excellentes compétences de communication écrite et orale en anglais.

• Python
• C++
• Programmation
• Anglais