IA – Monitoratge i administració execució LLM amb vGPU

L’exercici consisteix a preparar dos escriptoris virtuals alhora (un amb GPU i un altre sense GPU) i executar-hi un model de llenguatge local (com LM Studio). L’objectiu és llançar la mateixa consulta de forma simultània per poder comprovar i analitzar empíricament la diferència en els temps de resposta i observar com reaccionen o se saturen els recursos del sistema operatiu

Es crea dos escriptori a partir d’una plantilla amb LM Studio

  • Màquina A (Amb GPU): Una plantilla (per exemple Curso_Win_CON_GPU) configurada amb acceleració gràfica vGPU. Recordem que l’accés a aquesta màquina s’ha de configurar obligatòriament a través del visor RDP per poder aprofitar la gràfica.
  • Màquina B (Sense GPU): Una plantilla idèntica (Curso_Win_SIN_GPU) però sense recursos gràfics assignats.

Com que les targetes gràfiques (com les NVIDIA A40 que s’ofereixen en alguns servidors d’IsardVDI) són un recurs compartit i molt limitat, no es pot deixar a l’atzar.

El docent ha d’anar al tauler de Reserves (Bookings) i seleccionar la franja horària exacta de la classe per reservar la GPU per a tot el desplegament dels alumnes. Això garanteix que quan l’alumne demani a Ollama o LM Studio que processi dades, la targeta NVIDIA respongui.

L’alumne engega i es connecta als seus dos escriptoris alhora. En cadascun d’ells:

  1. Obre l’aplicació LM Studio i l’eina de monitoratge del sistema operatiu (com l’Administrador de Tasques).
  2. Obre l’apartat “AI Chat” i carrega el mateix model d’IA predeterminat (per exemple, TheBloke-llama2).
  3. Llança exactament la mateixa consulta (prompt) a l’assistent de les dues màquines al mateix temps.

Finalment, l’alumne ha d’analitzar empíricament l’impacte d’utilitzar maquinari especialitzat:

  • Anàlisi de Rendiment: L’alumne observa com l’escriptori amb GPU NVIDIA processa el text a gran velocitat, mentre que la màquina virtual sense GPU pateix “colls d’ampolla”: el seu processador central (vCPU) i la RAM es col·lapsen, generant una latència i saturació evidents al sistema.
  • Conclusió: Amb aquest full de ruta, l’alumne entén la relació directa entre el maquinari (NVIDIA), les tecnologies habilitadores (Big Data, IA), i com l’ús del “Cloud” (IsardVDI) permet a un institut fer formació puntera sense que cada alumne necessiti un ordinador car a casa seva