Privacidad Diferencial en el Entrenamiento de LLMs: Teoría y Práctica

DP-SGD, presupuestos de privacidad y cómo entrenar modelos de lenguaje con garantías matemáticas de privacidad para aplicaciones en salud y finanzas.

El Problema: Los Modelos Recuerdan

Los modelos de lenguaje son máquinas de reconocimiento de patrones extraordinariamente potentes, y ese poder viene acompañado de un riesgo concreto: la memorización. La investigación de Carlini et al. (2021) demostró que GPT-2 podía reproducir textualmente ejemplos de entrenamiento, incluyendo información personal, cuando se le indicaba de la forma correcta.

Para las industrias reguladas, esto representa una vulnerabilidad crítica. Si un modelo entrenado sobre conversaciones médicas puede reproducir el diagnóstico de un paciente ante el prompt adecuado, estamos ante una violación de HIPAA, independientemente de si el modelo fue diseñado explícitamente para ello o no.

Privacidad Diferencial: Una Solución Matemática

La privacidad diferencial (DP), introducida por Dwork et al. (2006), ofrece un marco matemático para cuantificar y acotar la pérdida de privacidad. La definición formal:

Un mecanismo aleatorio M satisface la (ε, δ)-privacidad diferencial si para todos los conjuntos de datos D₁ y D₂ que difieren en a lo sumo un elemento, y para todos los conjuntos S de posibles resultados:

P[M(D₁) ∈ S] ≤ eᵋ · P[M(D₂) ∈ S] + δ

En términos concretos: eliminar o agregar cualquier ejemplo de entrenamiento individual cambia el comportamiento del modelo como máximo por un factor de eᵋ, con probabilidad de fallo de a lo sumo δ.

DP-SGD: Entrenamiento con Privacidad Diferencial

DP-SGD (Descenso de Gradiente Estocástico con Privacidad Diferencial), formalizado por Abadi et al. (2016), modifica el bucle estándar de entrenamiento SGD con dos operaciones clave:

1. Recorte de Gradiente

El gradiente de cada ejemplo individual se recorta a una norma máxima C, acotando la influencia de cualquier ejemplo único:

# Per-example gradient clipping
for param in model.parameters():
    per_example_grad = compute_per_example_grad(param, example)
    norm = per_example_grad.norm(2)
    clip_factor = min(1.0, C / (norm + 1e-6))
    clipped_grad = per_example_grad * clip_factor

2. Adición de Ruido

Se agrega ruido gaussiano calibrado a los gradientes agregados:

# Noise calibrated to sensitivity and privacy budget
noise_scale = C * sigma  # sigma derived from epsilon, delta
noisy_grad = sum(clipped_grads) / batch_size + gaussian_noise(noise_scale)

La escala de ruido σ se calibra usando el contador de momentos para hacer seguimiento del presupuesto total de privacidad consumido en todos los pasos de entrenamiento.

Gestión del Presupuesto de Privacidad

El presupuesto de privacidad (ε, δ) se consume en cada paso de entrenamiento. Los factores clave son:

Cómo Elegir Epsilon para Industrias Reguladas

La elección de ε depende del contexto regulatorio:

• ε ≤ 1.0: Privacidad extremadamente fuerte, adecuada para los datos más sensibles (información genética, registros psiquiátricos)
• ε ≤ 3.0: Privacidad fuerte, recomendada para entidades cubiertas por HIPAA
• ε ≤ 8.0: Privacidad estándar, el valor por defecto de UNCASE — equilibra privacidad y utilidad para la mayoría de las aplicaciones reguladas
• ε > 10.0: Privacidad débil, puede no satisfacer los requisitos regulatorios

UNCASE impone ε ≤ 8.0 como techo fijo — el pipeline no produce ningún modelo que supere este presupuesto.

Implementación con UNCASE

from uncase import Trainer, TrainingConfig

config = TrainingConfig(
    base_model="meta-llama/Llama-3-8B",
    adapter="lora",
    lora_rank=16,
    # Differential privacy settings
    dp_enabled=True,
    dp_epsilon=8.0,
    dp_delta=1e-5,
    dp_max_grad_norm=1.0,
    # Training settings
    batch_size=32,         # Larger batches improve DP efficiency
    num_epochs=3,
    learning_rate=2e-4,
    # Quality validation
    validate_extraction_attacks=True,
    extraction_threshold=0.01,
)

trainer = Trainer(config)
result = trainer.train(synthetic_dataset)

print(f"Final epsilon: {result.privacy_spent}")
print(f"Extraction attack rate: {result.extraction_rate}")
print(f"Model accuracy: {result.eval_accuracy}")

La Compensación entre Privacidad y Utilidad

En la práctica, añadir privacidad diferencial al bucle de entrenamiento introduce una compensación inevitable: garantías de privacidad más fuertes (ε más bajo) reducen la precisión del modelo. Nosotros mitigamos esto a través de:

1. Datos sintéticos de alta calidad: Mejores datos de entrenamiento reducen el número de épocas necesarias, consumiendo menos presupuesto de privacidad
2. Eficiencia de LoRA: Entrenar menos parámetros significa que hay que agregar menos ruido por parámetro
3. Tamaño de lote óptimo: Lotes más grandes mejoran la relación señal-ruido sin consumir presupuesto de privacidad adicional
4. Ajuste de hiperparámetros orientado a la privacidad: Búsqueda automatizada de configuraciones que maximizan la utilidad bajo la restricción de privacidad

Los resultados empíricos en los dominios de UNCASE muestran que con ε = 8.0, la reducción de precisión respecto al entrenamiento no privado es típicamente del 2–5% — un precio pequeño por garantías matemáticas de privacidad.

Verificación: Probando la Privacidad

Tras el entrenamiento, UNCASE ejecuta una suite completa de verificación de privacidad:

• Ataques de inferencia de membresía: Evalúan si el modelo puede determinar si ejemplos específicos estuvieron en el conjunto de entrenamiento
• Ataques de extracción: Intentan recuperar datos de entrenamiento mediante prompts dirigidos
• Inferencia de atributos: Evalúan si atributos sensibles pueden inferirse a partir de las salidas del modelo

Todos los ataques deben tener tasas de éxito por debajo de umbrales definidos (< 1% para extracción) para que el modelo reciba una certificación de privacidad anclada en la blockchain como registro de auditoría inmutable.

Conclusiones Clave

1. La privacidad diferencial ofrece garantías matemáticas — no simplemente protección de buenas intenciones
2. DP-SGD modifica el entrenamiento con recorte de gradiente y ruido — acotando la influencia individual
3. Epsilon ≤ 8.0 es el techo recomendado para industrias reguladas
4. La compensación privacidad-utilidad es manejable — pérdida de precisión del 2-5% con la configuración adecuada
5. La verificación mediante ataques de extracción demuestra que las garantías se sostienen en la práctica