Optimización de la aplicación con tecnología de inteligencia artificial con Modelos

Con la publicación periódica de nuevos modelos de inteligencia artificial, elegir el adecuado para la aplicación puede ser difícil. GitHub Models te ayuda a optimizar tu aplicación con tecnología de inteligencia artificial, ya que te permite comparar diferentes modelos y variaciones de mensajes con entradas de ejemplo, mientras se usan evaluadores integrados para validar la salida del modelo.

Mediante un escenario de ejemplo, crearemos un asistente con tecnología de IA que ayude a los usuarios a aprender a usar Git desde la línea de comandos. Te guiaremos por la comparación de diferentes modelos y aprenderás a refinar variaciones de mensajes para mejorar la calidad de la salida.

Prueba de un mensaje

La vista Comparisons de GitHub Models te permite ajustar los parámetros del modelo y los mensajes para probar la salida del modelo.

1. Creación de un repositorio de ejemplo

Puedes acceder a la vista Comparisons directamente desde la pestaña Models de cualquier repositorio, pero en esta guía crearemos un repositorio para usarlo como entorno de prueba.

1. Ve a la página del nuevo repositorio.
2. En "Propietario", asegúrate de que la cuenta de usuario está seleccionada.
3. En el campo "Nombre del repositorio", escribe models-playground.
4. Debajo del campo de descripción, selecciona Private para establecer la visibilidad del repositorio.
5. Haga clic en Create repository (Crear repositorio).

2. Creación de un mensaje

1. En la página principal del nuevo repositorio, haz clic en la pestaña Models.
2. En la sección "Prompts", haz clic en New Prompt.
3. En la esquina superior izquierda, elige un modelo en el menú desplegable.

3. Escritura de un mensaje del sistema

Un mensaje del sistema es un conjunto de instrucciones que definen el rol, el comportamiento y las limitaciones de un modelo de IA antes de interactuar con los usuarios. En este ejemplo, trabajaremos en una aplicación con tecnología de inteligencia artificial que explica cómo usar Git desde la línea de comandos.

En el campo System prompt, copia y pega el texto siguiente:

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

4. Escribir un mensaje de usuario

El mensaje del usuario es la pregunta directa o la instrucción a un sistema de inteligencia artificial durante su conversación, a la que responde el sistema de inteligencia artificial.

En el campo User prompt, copia y pega el texto siguiente:

I want to learn how to use Git from the command line. 

I want to learn how to use Git from the command line. 

5. Escritura de la entrada de ejemplo

La variable {{input}} en el mensaje de usuario funciona como marcador de posición para la entrada de ejemplo. Para administrar este marcador de posición, haz clic en el botón Variables y escribe el texto siguiente:

When should I use rebase or merge?

When should I use rebase or merge?

6. Ejecución del mensaje de ejemplo

1. En la esquina superior derecha, haz clic en Play.
2. Realiza un cambio en el modelo o el mensaje, y vuelve a ejecutar el mensaje para ver qué resultados obtienes.

Prueba de diferentes modelos con un mensaje

Ahora, vamos a determinar qué modelo funcionará mejor para nuestra aplicación, mediante la vista Comparisons. Esta vista te permite probar diferentes modelos sobre la misma entrada, revelando diferencias de precisión, creatividad, tono, razonamiento y confiabilidad. Esto nos ayudará a elegir el modelo que mejor se adapte a nuestras necesidades en términos de calidad, velocidad, costo y coherencia.

1. En la esquina superior izquierda, haz clic en Comparisons.

2. Para comparar diferentes modelos, haz clic en Add prompt y selecciona Copy original prompt para duplicar los mensajes del sistema y del usuario existentes. Crea al menos dos copias del mensaje original para evaluar tres modelos diferentes.

3. Junto a cada mensaje, haz clic en . En la lista desplegable Model, elige un modelo diferente para cada mensaje que hayas creado.

4. Haz clic en Add inputs a fin de crear filas para las entradas de ejemplo.

   • Haz clic en Add inputs. Después, en el campo "Input", copia y pega el texto siguiente:

     Text

     How do I modify the most recent commit message in my current branch?   
     

   • Haz clic de nuevo en Add inputs y luego pega la entrada siguiente:

     Text

     How do I move a specific commit from one branch to a different branch?
     

   • Vuelve a hacer clic en Add inputs y pega esta entrada:

     Text

     How do I find the author of a specific commit in a repository's history?
     

5. Para ejecutar los mensajes, en la esquina superior derecha, haz clic en Run.

6. Prueba diferentes modelos con el mensaje, y toma nota del valor Latency y del uso de tokens Input y Output de los diferentes modelos.

Prueba de variaciones de mensajes con un modelo específico

Si vas a compilar una aplicación con un modelo de IA específico, necesitas que las respuestas sean predecibles y confiables. La prueba de variaciones del mensaje te ayuda a lo siguiente:

• Optimizar el rendimiento y la calidad: los pequeños cambios en la expresión pueden afectar a la calidad de la respuesta. Al probar variaciones, puedes encontrar la redacción que obtiene la mejor respuesta.
• Aclarar instrucciones: al variar la expresión del mensaje, puedes identificar qué versión entiende el modelo con más claridad.
• Adaptarse al comportamiento del modelo específico: puedes adaptar la entrada a cómo un modelo específico interpreta un lenguaje.
• Comprobar el formato de la salida: es posible que quieras una lista, un párrafo, un bloque de código o un tono específico. La prueba de variantes del mensaje te ayuda a aplicar una estructura o estilo específicos.

Ahora, vamos a usar GitHub Models para probar variaciones del mensaje con respecto a la entrada del usuario para el modelo específico.

1. Adición de variaciones del mensaje

Para este escenario de ejemplo, selecciona el mismo modelo para cada columna, pero proporciona una variación del mensaje diferente editando el campo "User prompt" de los mensajes existentes. Junto a cada mensaje, haz clic en .

1. Haz clic en en "Prompt 2". Después, en el campo "User prompt", copia y pega el texto siguiente:

   Text

   I want to learn how to use Git from the command line, but explain it to me like I am five years old.   
   

2. Haz clic en en "Prompt 3" y luego pega la entrada siguiente:

   Text

   I want to learn how to use Git from the command line. Give me instructions in the form of a haiku. 
   

2. Ejecución de variaciones del mensaje

1. Para ejecutar los mensajes, en la esquina superior derecha, haz clic en Run.
2. Prueba diferentes variaciones del mensaje y compara los tipos de salida que proporciona el modelo.

Evaluación de la salida del modelo

Hemos probado diferentes modelos y variaciones del mensaje en GitHub Models, y el siguiente paso es interpretar y comparar los resultados para tomar decisiones fundamentadas para nuestra aplicación con tecnología de IA.

A medida que ha ejecutado los modelos en los escenarios de ejemplo, se ha mostrado el uso de los tokens Input y Output, y el valor Latency después de cada ejecución. El uso de tokens es importante porque afecta directamente a las limitaciones del costo, el rendimiento y el modelo.

• Como la mayoría de los modelos cobran por token tanto para la entrada como para la salida, el uso de más tokens aumenta el costo.
• Cada modelo también tiene un límite máximo de tokens (denominado ventana de contexto) y superarlo puede provocar errores o respuestas truncadas.
• Los mensajes más largos pueden ralentizar el tiempo de respuesta o reducir la claridad, mientras que los mensajes concisas suelen dar lugar a salidas mejores y más eficaces.

El uso de GitHub Models para probar la utilización de tokens y la latencia te ayuda a mantenerte dentro de los límites, administrar los costos y mejorar la eficacia general de la aplicación con tecnología de inteligencia artificial.

Uso de evaluadores para juzgar la salida

En función del número de mensajes y modelos que evalúes, puede ser abrumador ordenar manualmente la salida del modelo. Para ayudar a evaluar la calidad de la salida de cada modelo, puedes usar Evaluadores para puntuar los resultados en dimensiones clave, como las de claridad, precisión y relevancia. Puedes definir criterios de evaluación propios o usar evaluadores integrados para evaluar automáticamente las salidas, lo que facilita la identificación del modelo de mejor rendimiento y la variación de mensajes.

En este escenario de ejemplo, vamos a usar el evaluador String check para comprobar si hay una cadena en la salida.

1. En la esquina inferior derecha del campo Prompts, haz clic en Add evaluatory selecciona String check.

2. En el campo Name, escribe "Amend check", y luego copia y pega la siguiente entrada para el campoValue:

   Text

   git commit --amend
   

3. Para ejecutar los mensajes, en la esquina superior derecha, haz clic en Run.

4. La salida del mensaje mostrará ahora una etiqueta Pass o Fail, lo que te permitirá saber qué modelo contenía la cadena necesaria.

Para más información sobre los evaluadores generados previamente, como los de similitud, base y relevancia, consulta Evaluación de modelos de IA.

Pasos siguientes

Ahora que has explorado cómo probar modelos, refinar los mensajes y evaluar las salidas con GitHub Models, ya puedes empezar a crear mensajes para la aplicación con tecnología de IA. Después de crear un mensaje, puedes almacenarlo, crear una versión y compartirlo si confirmas un archivo .prompt.yml en el repositorio. Esto mantiene los mensajes bajo el control de versiones y permite una colaboración sencilla en el mensaje y el refinamiento del modelo. Para más información, consulta Almacenamiento de mensajes en repositorios de GitHub.

Únase a la comunidad

Para formular preguntas y compartir comentarios, consulta esta entrada de debate sobre Modelos de GitHub.
Para obtener información sobre cómo otros usan GitHub Models, visita los debates de la comunidad de GitHub para Modelos.