multimodal-side-tuning

descrizione

Questo repository contiene il codice e la documentazione per la classificazione multimodale tramite side-tuning — una tecnica additiva che permette di adattare modelli pre-addestrati a nuovi compiti senza modificarne i pesi originali.

L'approccio combina input eterogenei (testo, immagini, dati strutturati) in un'unica pipeline di classificazione, con un overhead computazionale minimo rispetto al fine-tuning completo.

struttura

• src/ — codice sorgente dei modelli
• notebooks/ — esperimenti e analisi
• data/ — script per la preparazione dei dataset
• docs/ — documentazione tecnica

requisiti

pip install -r requirements.txt

Python 3.9+, PyTorch 2.0+, trasformers Hugging Face.

cita questo lavoro