Los equipos de Google Research y Google Deepmind introdujeron un nuevo modelo llamado Vaultgemma. Modelo de Modelo de Language de Privacidad Diferencial (LLM) Vaultgemma es un modelo de parámetros de 1 mil millones. Vaultgemma se basó en la arquitectura Gemma de Google. En este punto, se utiliza para usar algoritmos matemáticos avanzados para evitar la fuga de datos confidenciales.
Para jurar la función de Vaultgemma con más detalle, primero podemos traducirlo como privacidad discriminatoria o diferencial. Privacidad diferente Vale la pena mencionar el algoritmo. Este algoritmo matemático, que se utiliza para mantener la privacidad durante el intercambio de datos, no afecta significativamente las consecuencias generales de la inclusión o exclusión de una sola información. Este proceso se realiza agregando ruido controlado al conjunto de datos. Por lo tanto, es difícil definir cierta información en el conjunto de datos.
De hecho, notemos que la técnica en cuestión se ha utilizado en sectores sujetos a regulaciones durante mucho tiempo para proteger la información confidencial. Aunque también tenía un gran potencial para la privacidad de la inteligencia artificial, fue un proceso difícil aplicarlo a grandes modelos de idiomas (LLM). La aplicación de la técnica de privacidad diferencial a los modelos también condujo a compromisos en la determinación y eficiencia de los modelos. Vaultgemma está exactamente diseñado para superar estos problemas. Vaultgemma proporciona el uso de la privacidad diferencial sin pérdida de rendimiento.
Según la publicación de blog compartida por Google Research y los investigadores de Google Deepmind el viernes, el equipo de investigación se centró en eliminar los inevitables compromisos de uso de cálculo-disgusto en la capacitación de privacidad diferencial. Según la información compartida; Las leyes de escala tradicionales, que estiman el rendimiento del modelo de inteligencia artificial basado en fuentes de cálculo y el tamaño de los datos, perdieron su validez cuando se aplicó la privacidad diferencial. La razón de esto fue aumentar el ruido y las dimensiones más grandes de la fiesta. El equipo de investigación ha diseñado nuevas leyes de escala que tienen en cuenta estos factores para garantizar el desarrollo de LLM especiales más grandes y talentosos.
Vaultgemma fue entrenado desde cero utilizando un marco de privacidad diferencial para que no recuerde o fugas datos confidenciales. Según los investigadores; Esta es una característica crítica que puede tener serias consecuencias para las aplicaciones de inteligencia artificial en sectores como las finanzas y la salud.
Las evaluaciones de Google en varios puntos de referencia, como MMLU y Big Bench, Vaultgemma, sacrificando la privacidad, excediendo los modelos de privacidad diferencial anteriores, excediendo un nivel de rendimiento muy comparable con los parámetros no ocultos, excediendo un nivel de rendimiento más comparable. Vaultgemma elimina el riesgo de revelar datos educativos, así como competir con las habilidades de los modelos de Gemma previamente no escondidos en tareas como el razonamiento y la respuesta a las preguntas.
La investigación de Google muestra cómo la privacidad diferencial cambia la dinámica de aprendizaje de los modelos de idiomas grandes. También se debe tener en cuenta que los investigadores han encontrado varias soluciones para reducir los altos costos de cálculo debido al uso de grandes dimensiones de los partidos.
Los investigadores de Google presentaron Vaultgemma, pesas y base de código bajo licencia de código abierto en Huging Face y Kaggle. Según los investigadores; Las leyes de escala de Google para la privacidad diferencial se pueden aplicar a LLM especiales mucho más grandes. Esto incluye tamaños potencialmente modelo hasta billones de parámetros. Si bien las preocupaciones de confidencialidad de los datos de las empresas están en la agenda, es posible decir que Vaultgemma ofrece una nueva solución con innovación segura de inteligencia artificial.