Skip to main content

16.04.2024 | Original Article

A zero-shot reinforcement learning strategy for autonomous guidewire navigation

verfasst von: Valentina Scarponi, Michel Duprez, Florent Nageotte, Stéphane Cotin

Erschienen in: International Journal of Computer Assisted Radiology and Surgery

Einloggen, um Zugang zu erhalten

Abstract

Purpose

The treatment of cardiovascular diseases requires complex and challenging navigation of a guidewire and catheter. This often leads to lengthy interventions during which the patient and clinician are exposed to X-ray radiation. Deep reinforcement learning approaches have shown promise in learning this task and may be the key to automating catheter navigation during robotized interventions. Yet, existing training methods show limited capabilities at generalizing to unseen vascular anatomies, requiring to be retrained each time the geometry changes.

Methods

In this paper, we propose a zero-shot learning strategy for three-dimensional autonomous endovascular navigation. Using a very small training set of branching patterns, our reinforcement learning algorithm is able to learn a control that can then be applied to unseen vascular anatomies without retraining.

Results

We demonstrate our method on 4 different vascular systems, with an average success rate of 95% at reaching random targets on these anatomies. Our strategy is also computationally efficient, allowing the training of our controller to be performed in only 2 h.

Conclusion

Our training method proved its ability to navigate unseen geometries with different characteristics, thanks to a nearly shape-invariant observation space.
Anhänge
Nur mit Berechtigung zugänglich
Literatur
2.
Zurück zum Zitat Bellman R (1957) A Markovian decision process. J Math Mech 6(5):679–684 Bellman R (1957) A Markovian decision process. J Math Mech 6(5):679–684
3.
Zurück zum Zitat van den Berg L, Berkhemer O, Fransen P, Beumer D, Lingsma H, Majoie C, Dippel D, Lugt A, Oostenbrugge R, Zwam W, Roos Y, Dijkgraaf M, Yoo A, Schonewille W, Vos JA, Nederkoorn P, Wermer M, van Walderveen M, Staals J, Koudstaal P (2021) Economic evaluation of endovascular treatment for acute ischemic stroke. Stroke 53:102. https://doi.org/10.1161/strokeaha.121.034599CrossRef van den Berg L, Berkhemer O, Fransen P, Beumer D, Lingsma H, Majoie C, Dippel D, Lugt A, Oostenbrugge R, Zwam W, Roos Y, Dijkgraaf M, Yoo A, Schonewille W, Vos JA, Nederkoorn P, Wermer M, van Walderveen M, Staals J, Koudstaal P (2021) Economic evaluation of endovascular treatment for acute ischemic stroke. Stroke 53:102. https://​doi.​org/​10.​1161/​strokeaha.​121.​034599CrossRef
4.
Zurück zum Zitat Bitar I, Grange S, Kotronis P, Benkemoun N (2015) A review on various formulations of displacement based multi-fiber straight timoshenko beam finite elements. In: Proc. CIGOS Bitar I, Grange S, Kotronis P, Benkemoun N (2015) A review on various formulations of displacement based multi-fiber straight timoshenko beam finite elements. In: Proc. CIGOS
7.
Zurück zum Zitat Chi W, Dagnino G, Kwok TMY, Nguyen A, Kundrat D, Abdelaziz MEMK, Riga C, Bicknell C, Yang GZ (2020) Collaborative robot-assisted endovascular catheterization with generative adversarial imitation learning. In: 2020 IEEE international conference on robotics and automation (ICRA), pp 2414–2420, https://doi.org/10.1109/ICRA40945.2020.9196912 Chi W, Dagnino G, Kwok TMY, Nguyen A, Kundrat D, Abdelaziz MEMK, Riga C, Bicknell C, Yang GZ (2020) Collaborative robot-assisted endovascular catheterization with generative adversarial imitation learning. In: 2020 IEEE international conference on robotics and automation (ICRA), pp 2414–2420, https://​doi.​org/​10.​1109/​ICRA40945.​2020.​9196912
9.
Zurück zum Zitat Haarnoja T, Zhou A, Hartikainen K, Tucker G, Ha S, Tan J, Kumar V, Zhu H, Gupta A, Abbeel P, Levine S (2018) Soft Actor-Critic algorithms and applications. arXiv:1812.05905 Haarnoja T, Zhou A, Hartikainen K, Tucker G, Ha S, Tan J, Kumar V, Zhu H, Gupta A, Abbeel P, Levine S (2018) Soft Actor-Critic algorithms and applications. arXiv:​1812.​05905
10.
Zurück zum Zitat Jianu T, Huang B, Abdelaziz M, Vu MN, Fichera S, Lee CY, Berthet-Rayne P, y Baena FR, Nguyen A (2023) Cathsim: an open-source simulator for endovascular intervention. arXiv:2208.01455 Jianu T, Huang B, Abdelaziz M, Vu MN, Fichera S, Lee CY, Berthet-Rayne P, y Baena FR, Nguyen A (2023) Cathsim: an open-source simulator for endovascular intervention. arXiv:​2208.​01455
12.
Zurück zum Zitat Karstensen L, Ritter J, Hatzl J, Ernst F, Langejürgen J, Uhl C, Mathis-Ullrich F (2023) Recurrent neural networks for generalization towards the vessel geometry in autonomous endovascular guidewire navigation in the aortic arch. Int J Comput Ass Radiol Surg 18:1735–1744. https://doi.org/10.1007/s11548-023-02938-7CrossRef Karstensen L, Ritter J, Hatzl J, Ernst F, Langejürgen J, Uhl C, Mathis-Ullrich F (2023) Recurrent neural networks for generalization towards the vessel geometry in autonomous endovascular guidewire navigation in the aortic arch. Int J Comput Ass Radiol Surg 18:1735–1744. https://​doi.​org/​10.​1007/​s11548-023-02938-7CrossRef
15.
Zurück zum Zitat Meng F, Guo S, Zhou W, Chen Z (2022) Evaluation of an autonomous navigation method for vascular interventional surgery in virtual environment. In: proceeding international conference on mechatronics and automation, pp 1599–1604 Meng F, Guo S, Zhou W, Chen Z (2022) Evaluation of an autonomous navigation method for vascular interventional surgery in virtual environment. In: proceeding international conference on mechatronics and automation, pp 1599–1604
17.
Zurück zum Zitat Othonos A (1997) Fiber bragg gratings. Review of scientific instruments 68(12):4309–4341CrossRef Othonos A (1997) Fiber bragg gratings. Review of scientific instruments 68(12):4309–4341CrossRef
20.
Zurück zum Zitat Raffin A, Hill A, Gleave A, Kanervisto A, Ernestus M, Dormann N (2021) Stable-baselines3: reliable reinforcement learning implementations. J Mach Learn Res 22(268):1–8 Raffin A, Hill A, Gleave A, Kanervisto A, Ernestus M, Dormann N (2021) Stable-baselines3: reliable reinforcement learning implementations. J Mach Learn Res 22(268):1–8
Metadaten
Titel
A zero-shot reinforcement learning strategy for autonomous guidewire navigation
verfasst von
Valentina Scarponi
Michel Duprez
Florent Nageotte
Stéphane Cotin
Publikationsdatum
16.04.2024
Verlag
Springer International Publishing
Erschienen in
International Journal of Computer Assisted Radiology and Surgery
Print ISSN: 1861-6410
Elektronische ISSN: 1861-6429
DOI
https://doi.org/10.1007/s11548-024-03092-4

Mammakarzinom: Brustdichte beeinflusst rezidivfreies Überleben

26.05.2024 Mammakarzinom Nachrichten

Frauen, die zum Zeitpunkt der Brustkrebsdiagnose eine hohe mammografische Brustdichte aufweisen, haben ein erhöhtes Risiko für ein baldiges Rezidiv, legen neue Daten nahe.

„Übersichtlicher Wegweiser“: Lauterbachs umstrittener Klinik-Atlas ist online

17.05.2024 Klinik aktuell Nachrichten

Sie sei „ethisch geboten“, meint Gesundheitsminister Karl Lauterbach: mehr Transparenz über die Qualität von Klinikbehandlungen. Um sie abzubilden, lässt er gegen den Widerstand vieler Länder einen virtuellen Klinik-Atlas freischalten.

Klinikreform soll zehntausende Menschenleben retten

15.05.2024 Klinik aktuell Nachrichten

Gesundheitsminister Lauterbach hat die vom Bundeskabinett beschlossene Klinikreform verteidigt. Kritik an den Plänen kommt vom Marburger Bund. Und in den Ländern wird über den Gang zum Vermittlungsausschuss spekuliert.

Darf man die Behandlung eines Neonazis ablehnen?

08.05.2024 Gesellschaft Nachrichten

In einer Leseranfrage in der Zeitschrift Journal of the American Academy of Dermatology möchte ein anonymer Dermatologe bzw. eine anonyme Dermatologin wissen, ob er oder sie einen Patienten behandeln muss, der eine rassistische Tätowierung trägt.

Update Radiologie

Bestellen Sie unseren Fach-Newsletter und bleiben Sie gut informiert.