Segmentació d’imatges amb models fundacionals: explorant el segment anything model i la segmentació iterativa

Abstract

En aquest Treball de Fi de Grau s’estudia l’evolució de les tècniques de segmentació d’imatges, des dels mètodes clàssics fins a les solucions actuals basades en deep learning. El nucli del projecte se centra en l’anàlisi del Segment Anything Model (SAM) (Kirillov et al., 2023), un model fundacional desenvolupat per Meta AI, i en l’exploració de la seva aplicació en fluxos de segmentació iterativa per superar algunes de les seves limitacions. Per assolir aquest objectiu, s’han dut a terme proves comparatives amb mètodes tradicionals i experiments sistemàtics amb el SAM. A més, s’ha desenvolupat una plataforma web interactiva, implementada amb Python, Flask i llibreries de codi obert, que integra tant algoritmes clàssics com el SAM i permet aplicar subsegmentacions successives de manera intuïtiva. Els resultats mostren que, tot i que el SAM és capaç de generalitzar amb gran precisió i rapidesa, presenta dificultats en segmentar objectes petits o amb detalls interns complexos. L’ús de la subsegmentació millora notablement aquest aspecte, encara que comporta un cost computacional superior. Finalment, el prototip web demostra la viabilitat d’oferir aquest tipus de tecnologia en un entorn accessible i usable, posant de manifest el potencial d’aquest enfocament tant per fer recerca com per a aplicacions pràctiques.

This Final Degree Project explores the evolution of image segmentation techniques, from traditional methods to modern deep learning solutions. The core of the project focuses on analyzing the Segment Anything Model (SAM) (Kirillov et al., 2023), a foundational model developed by Meta AI, and on investigating its application through iterative sub-segmentation workflows designed to overcome some of its limitations. To achieve this goal, comparative tests with classical algorithms were conducted, along with systematic experiments on the SAM’s main parameters. In addition, an interactive web platform was developed using Flask and open-source libraries, integrating both classical methods and the SAM, and enabling successive sub-segmentations in an intuitive manner. The results show that, although the SAM is able to generalize with remarkable accuracy and speed, it struggles with small objects and complex internal details. The use of segmentation within segmentation significantly improves this limitation, albeit at a higher computational cost. Finally, the web prototype demonstrates the feasibility of providing such technology in an accessible and user-friendly environment, highlighting its potential for both research and practical applications.