IA – Orquestració de models d’Intel·ligència Artificial amb contenidors

L’objectiu d’aquesta pràctica és que l’alumnat configuri i orquestri un entorn d’Intel·ligència Artificial basat en contenidors. Fent servir una màquina virtual Linux, els alumnes hauran d’enllaçar el motor de Docker amb el maquinari físic del servidor (vGPU NVIDIA en “Mode Còmput”) per poder desplegar i executar de forma local agents d’IA (com Ollama) a través de la línia de comandes o via API.

https://isard.gitlab.io/isardvdi-docs/es/use_cases/conn_devices/llm/llm

📌 Fase 1: Preparació de la Plantilla i “Mode Còmput” (Docent) El docent crea l’entorn base de desenvolupament:

Es parteix d’una plantilla Linux (per exemple, Ubuntu 22.04_Isardvdi_v1).
Configuració clau: A l’apartat de maquinari de la màquina, el docent assigna la targeta gràfica NVIDIA però marcant l’opció de “Només Còmput” (Modo sólo cómputo). Això dedica tota la potència de la targeta exclusivament a fer càlculs matemàtics, ignorant el processament de vídeo.
Instal·lació base: S’instal·la el motor de Docker i, molt important, el paquet NVIDIA Container Toolkit (el pont necessari perquè els contenidors de Docker puguin detectar i utilitzar la GPU física de la plataforma).

📌 Fase 2: Reserva de GPU i Desplegament (Docent) Com en tota pràctica que requereix maquinari dedicat:

El docent accedeix a l’apartat de Reserves i planifica l’ús de la GPU per a la franja horària de la classe.
A continuació, genera el Desplegament cap al grup d’alumnes. Automàticament, cada estudiant rep un escriptori Linux idèntic amb Docker i els controladors NVIDIA ja preparats per començar a orquestrar.

📌 Fase 3: Orquestració i Execució (Alumnat) L’alumne actua com a tècnic de sistemes / DevOps:

S’inicia l’escriptori virtual. En aquest cas, l’alumne pot accedir-hi obrint un terminal (mitjançant el visor directe de la plataforma, o bé per SSH si s’habilita el Bastió o la VPN Personal).
S’executen les comandes pertinents d’orquestració (ex: docker run ... ollama/ollama) indicant al contenidor que té permís per utilitzar la targeta gràfica (mitjançant flags com --gpus all).
L’alumne descarrega el model de llenguatge escollit i interactua amb l’IA exclusivament a través de la consola o aixecant petits serveis web connectats a l’API del contenidor.

📌 Fase 4: Avaluació i Supervisió (Docent) Com que és una pràctica per consola i serveis de xarxa:

El docent pot fer servir la descàrrega del fitxer de visors directes (CSV) per saltar ràpidament als terminals dels alumnes i comprovar si el contenidor s’ha aixecat correctament.
Alternativament, si es vol automatitzar, el professor pot llançar un test amb l’eina Teuton (que es connecta per SSH a les màquines dels alumnes de forma massiva) per avaluar si el servei de Docker està corrent i responent a les peticions d’IA.