Modelos de Azure OpenAI Service

Azure OpenAI Service cuenta con una amplia gama de modelos con diferentes funcionalidades y puntos de precio. La disponibilidad de los modelos varía según la región y la nube. Para consultar la disponibilidad del modelo de Azure Government, vea Azure Government OpenAI Service.

Acceso limitado a los modelos o1-preview y o1-mini

Los modelos de Azure OpenAI o1-preview y o1-mini están diseñados específicamente para abordar tareas de razonamiento y resolución de problemas con un mayor foco y capacidad. Estos modelos invierten más tiempo en procesar y comprender la solicitud del usuario, lo que hace que sean excepcionalmente fuertes en áreas como ciencia, codificación y matemáticas en comparación con las iteraciones anteriores.

Disponibilidad

Los modelos o1-preview y o1-mini ya están disponibles para el acceso a la API y la implementación del modelo. El registro es obligatorio y se concederá acceso en función de los criterios de idoneidad de Microsoft.

Solicitud de acceso: aplicación de modelo de acceso limitado

Una vez concedido el acceso, deberá crear una implementación para cada modelo.

Compatibilidad con API

Se ha agregado compatibilidad con los modelos de la serie o1 en la versión 2024-09-01-preview de la API.

El parámetro max_tokens ha quedado en desuso y se ha reemplazado por el nuevo parámetro max_completion_tokens. Los modelos de la serie o1 solo funcionarán con el parámetro max_completion_tokens.

Uso

Actualmente, estos modelos no admiten el mismo conjunto de parámetros que otros modelos que usan la API de finalizaciones de chat. Actualmente solo se admite un subconjunto muy limitado, por lo que los parámetros comunes como temperature, top_p, no están disponibles y su inclusión hará que su solicitud falle. Los modelos o1-preview y o1-mini tampoco aceptarán el rol de mensaje del sistema como parte de la matriz de mensajes.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API:\n\n1. **Define the Purpose and Requirements**\n\n   - **Identify the Functionality**: Clearly outline what your API is supposed to do. What data or services will it provide to the users?\n   - **Determine the Endpoints**: Plan the different URLs (endpoints) through which users can access the API functionalities.\n   - **Specify Request and Response Formats**: Decide on the data formats (usually JSON) for incoming requests and outgoing responses.\n\n2. **Choose the Right Framework**\n\n   Python offers several frameworks for building APIs. Two of the most popular are:\n\n   - **Flask**: A lightweight and flexible web framework, great for small to medium-sized APIs.\n   - **FastAPI**: A modern, high-performance framework for building APIs with Python 3.6+ types, offering automatic interactive documentation.\n\n   **Example**:\n   ```bash\n   pip install flask\n   ```\n   or\n   ```bash\n   pip install fastapi uvicorn\n   ```\n\n3. **Set Up the Development Environment**\n\n   - **Create a Virtual Environment**: Isolate your project dependencies using `venv` or `conda`.\n   - **Install Required Packages**: Ensure all necessary libraries and packages are installed.\n\n   **Example**:\n   ```bash\n   python -m venv env\n   source env/bin/activate  # On Windows use `env\\Scripts\\activate`\n   ```\n\n4. **Implement the API Endpoints**\n\n   - **Write the Code for Each Endpoint**: Implement the logic that handles requests and returns responses.\n   - **Use Decorators to Define Routes**: In frameworks like Flask, you use decorators to specify the URL endpoints.\n\n   **Example with Flask**:\n   ```python\n   from flask import Flask, request, jsonify\n\n   app = Flask(__name__)\n\n   @app.route('/hello', methods=['GET'])\n   def hello_world():\n       return jsonify({'message': 'Hello, World!'})\n\n   if __name__ == '__main__':\n       app.run(debug=True)\n   ```\n\n5. **Handle Data Serialization and Deserialization**\n\n   - **Parsing Incoming Data**: Use libraries to parse JSON or other data formats from requests.\n   - **Formatting Output Data**: Ensure that responses are properly formatted in JSON or XML.\n\n6. **Implement Error Handling**\n\n   - **Handle Exceptions Gracefully**: Provide meaningful error messages and HTTP status codes.\n   - **Validate Input Data**: Check for required fields and appropriate data types to prevent errors.\n\n   **Example**:\n   ```python\n   @app.errorhandler(404)\n   def resource_not_found(e):\n       return jsonify(error=str(e)), 404\n   ```\n\n7. **Add Authentication and Authorization (If Necessary)**\n\n   - **Secure Endpoints**: If your API requires, implement security measures such as API keys, tokens (JWT), or OAuth.\n   - **Manage User Sessions**: Handle user login states and permissions appropriately.\n\n8. **Document Your API**\n\n   - **Use Tools Like Swagger/OpenAPI**: Automatically generate interactive API documentation.\n   - **Provide Usage Examples**: Help users understand how to interact with your API.\n\n   **Example with FastAPI**:\n   FastAPI automatically generates docs at `/docs` using Swagger UI.\n\n9. **Test Your API**\n\n   - **Write Unit and Integration Tests**: Ensure each endpoint works as expected.\n   - **Use Testing Tools**: Utilize tools like `unittest`, `pytest`, or API testing platforms like Postman.\n\n   **Example**:\n   ```python\n   import unittest\n   class TestAPI(unittest.TestCase):\n       def test_hello_world(self):\n           response = app.test_client().get('/hello')\n           self.assertEqual(response.status_code, 200)\n   ```\n\n10. **Optimize Performance**\n\n    - **Improve Response Times**: Optimize your code and consider using asynchronous programming if necessary.\n    - **Manage Resource Utilization**: Ensure your API can handle the expected load.\n\n11. **Deploy Your API**\n\n    - **Choose a Hosting Platform**: Options include AWS, Heroku, DigitalOcean, etc.\n    - **Configure the Server**: Set up the environment to run your API in a production setting.\n    - **Use a Production Server**: Instead of the development server, use WSGI servers like Gunicorn or Uvicorn.\n\n    **Example**:\n    ```bash\n    uvicorn main:app --host 0.0.0.0 --port 80\n    ```\n\n12. **Monitor and Maintain**\n\n    - **Logging**: Implement logging to track events and errors.\n    - **Monitoring**: Use monitoring tools to track performance and uptime.\n    - **Update and Patch**: Keep dependencies up to date and patch any security vulnerabilities.\n\n13. **Consider Versioning**\n\n    - **Plan for Updates**: Use versioning in your API endpoints to manage changes without breaking existing clients.\n    - **Example**:\n      ```python\n      @app.route('/v1/hello', methods=['GET'])\n      ```\n\n14. **Gather Feedback and Iterate**\n\n    - **User Feedback**: Encourage users to provide feedback on your API.\n    - **Continuous Improvement**: Use the feedback to make improvements and add features.\n\n**Additional Tips**:\n\n- **Keep It Simple**: Start with a minimal viable API and expand functionality over time.\n- **Follow RESTful Principles**: Design your API according to REST standards to make it intuitive and standard-compliant.\n- **Security Best Practices**: Always sanitize inputs and protect against common vulnerabilities like SQL injection and cross-site scripting (XSS).\nBy following these steps, you'll be well on your way to creating a functional and robust Python API. Good luck with your development!",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-preview-2024-09-12",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Disponibilidad regional

Disponible para la implementación estándar y global en el Este de EE. UU., Este de EE. UU.2, Centro-norte de EE. UU., Centro-sur de EE. UU., Centro de Suecia, Oeste de EE. UU. y Oeste de EE. UU. 3 para clientes aprobados.

GPT-4o audio

El modelo gpt-4o-realtime-preview forma parte de la familia de modelos GPT-4o y admite interacciones de conversación de "entrada y salida de voz" de baja latencia. GPT-4o audio está diseñado para controlar las interacciones conversacionales en tiempo real y de baja latencia, lo que lo convierte en una excelente opción para agentes de soporte técnico, asistentes, traductores y otros casos de uso que necesitan una alta capacidad de respuesta con un usuario.

GPT-4o audio está disponible en las regiones Este de EE. UU. 2 (eastus2) y Centro de Suecia (swedencentral). Para usar GPT-4o audio, debe crear o usar un recurso existente en una de las regiones admitidas.

Una vez creado el recurso, puede implementar el modelo GPT-4o audio. Si va a realizar una implementación mediante programación, el nombre del modelo es gpt-4o-realtime-preview. Para más información sobre cómo usar GPT-4o audio, consulte la documentación de audio GPT-4o.

En la tabla siguiente, encontrará detalles sobre el número máximos de tokens de solicitud y los datos de entrenamiento.

GPT-4o y GPT-4 Turbo

GPT-4o integra texto e imágenes en un único modelo, lo que le permite controlar varios tipos de datos simultáneamente. Este enfoque multimodal mejora la precisión y la capacidad de respuesta en las interacciones persona-ordenador. GPT-4o iguala a GPT-4 Turbo en tareas de texto y codificación en inglés, al tiempo que ofrece un rendimiento superior en idiomas distintos del inglés y en tareas de visión, estableciendo nuevos puntos de referencia para las capacidades de IA.

¿Cómo puedo acceder a los modelos GPT-4o y GPT-4o mini?

GPT-4o y GPT-4o mini están disponibles para estándar y implementación del modelo estándar global.

Debe crear un recurso o usar uno ya existente en una región estándar admitida o estándar global en la que esté disponible el modelo.

Cuando se crea el recurso, puede implementar los modelos GPT-4o. Si va a realizar una implementación mediante programación, el modelo nombres son:

• gpt-4o Versión 2024-08-06
• gpt-4o, Versión 2024-05-13
• gpt-4o-mini Versión 2024-07-18

GPT-4 Turbo

GPT-4 Turbo es un modelo multimodal grande (acepta entradas de texto o imagen y genera texto) que puede resolver problemas difíciles con mayor precisión que cualquiera de los modelos anteriores de OpenAI. Al igual que GPT-3.5 Turbo y los modelos GPT-4 antiguos, GPT-4 Turbo están optimizados para chat y funcionan bien para las tareas de finalización tradicionales.

La versión más reciente de disponibilidad general de GPT-4 Turbo es:

• gpt-4 Versión: turbo-2024-04-09

Este es el reemplazo de los siguientes modelos en versión preliminar:

• gpt-4 Versión: 1106-Preview
• gpt-4 Versión: 0125-Preview
• gpt-4 Versión: vision-preview

Diferencias entre los modelos de disponibilidad general OpenAI y Azure OpenAI GPT-4 Turbo

• La versión de OpenAI del último modelo turbo 0409 admite el modo JSON y la llamada a funciones para todas las solicitudes de inferencia.
• La versión de Azure OpenAI de la turbo-2024-04-09 más reciente actualmente no admite el uso del modo JSON y la llamada a funciones al realizar solicitudes de inferencia con entrada de imagen (visión). Las solicitudes de entrada basadas en texto (solicitudes sin image_url e imágenes insertadas) admiten el modo JSON y las llamadas a funciones.

Diferencias de gpt-4 vision-preview

• Las mejoras específicas de Visión de Azure AI con GPT-4 Turbo con Visión no se admiten para la gpt-4 Versión: turbo-2024-04-09. Esto incluye el reconocimiento óptico de caracteres (OCR), la conexión a tierra de objetos, las indicaciones de vídeo y un mejor tratamiento de sus datos con imágenes.

Disponibilidad administrada aprovisionada por GPT-4 Turbo

• gpt-4 Versión: turbo-2024-04-09 está disponible para implementaciones estándar y aprovisionadas. Actualmente, la versión aprovisionada de este modelo no admite solicitudes de inferencia de imagen/visión. Las implementaciones aprovisionadas de este modelo solo aceptan entradas de texto. Las implementaciones de modelos estándar aceptan solicitudes de inferencia de texto e imagen/visión.

Implementación de GPT-4 Turbo con disponibilidad general de Vision

Para implementar el modelo de disponibilidad general en la interfaz de usuario de Studio, seleccione GPT-4 y elija la versión de turbo-2024-04-09 en el menú desplegable. La cuota predeterminada para el modelo gpt-4-turbo-2024-04-09 será la misma que la cuota actual para GPT-4-Turbo. Consulte los límites de cuota regionales.

GPT-4

GPT-4 es el predecesor de GPT-4 Turbo. Los modelos GPT-4 y GPT-4 Turbo tienen un nombre de modelo base de gpt-4. Puede distinguir entre los modelos GPT-4 y Turbo examinando la versión del modelo.

• gpt-4 Versión 0314
• gpt-4 Versión 0613
• gpt-4-32k Versión 0613

Puede ver la longitud del contexto de los tokens compatible con cada modelo en la tabla de resumen de modelos.

Modelos GPT-4 y GPT-4 Turbo

• Estos modelos solo se pueden usar con la API de finalización de chat.

Consulte Versiones del modelo para obtener información sobre cómo azure OpenAI Service controla las actualizaciones de versiones del modelo y trabajar con modelos para información sobre cómo ver y configurar la versión del modelo de las implementaciones de GPT-4.

• GPT-4 versión 0125-preview es una versión actualizada de la versión preliminar GPT-4 Turbo publicada anteriormente como versión 1106-preview.
• GPT-4 versión 0125-preview completa tareas como la generación de código más completamente en comparación con gpt-4-1106-preview. Debido a esto, dependiendo de la tarea, los clientes pueden encontrar que GPT-4-0125-preview genera más salida en comparación con gpt-4-1106-preview. Se recomienda que los clientes comparen las salidas del nuevo modelo. GPT-4-0125-preview también soluciona errores en gpt-4-1106-preview con control UTF-8 para idiomas distintos del inglés.
• La versión de GPT-4 turbo-2024-04-09 es la versión más reciente de disponibilidad general y reemplaza 0125-Preview, 1106-preview y vision-preview.

GPT-3.5

Los modelos GPT-3.5 pueden comprender y generar lenguaje natural o código. El modelo más capaz y rentable de la familia GPT-3.5 es GPT-3.5 Turbo, que se ha optimizado para chat y funciona bien para las tareas de finalizaciones tradicionales. GPT-3.5 Turbo está disponible para su uso con la API de finalización de chat. GPT-3.5 Turbo Instruct tiene funcionalidades similares a text-davinci-003 que usa la API de finalizaciones en lugar de la API de finalizaciones de chat. Se recomienda usar GPT-3.5 Turbo y GPT-3.5 Turbo Instruct en vez de los modelos GPT-3.5 y GPT-3.5 heredados.

Para obtener más información sobre cómo interactuar con GPT-3.5 Turbo y la API de finalizaciones de chat, consulte nuestro procedimiento detallado.

¹ Este modelo aceptará solicitudes > de 4096 tokens. No se recomienda superar el límite de 4096 tokens de entrada, ya que la versión más reciente del modelo está limitada a 4096 tokens. Si se producen problemas al superar 4096 tokens de entrada con este modelo, esta configuración no se admite oficialmente.

Inserciones

text-embedding-3-large es el modelo de inserción más reciente y capaz. No es posible actualizar entre modelos de inserción. Para pasar de usar text-embedding-ada-002 a text-embedding-3-large, tendría que generar nuevas inserciones.

• text-embedding-3-large
• text-embedding-3-small
• text-embedding-ada-002

En las pruebas, OpenAI informa de los modelos de inserción de tercera generación tanto grandes como pequeños que ofrecen un mejor rendimiento medio de recuperación de varios lenguajes con el punto de referencia MIRACL, a la vez que mantiene el rendimiento de las tareas en inglés con el punto de referencia MTEB.

Los modelos de inserción de tercera generación admiten reducir el tamaño de la inserción mediante un nuevo parámetro dimensions. Normalmente, las inserciones más grandes son más costosas desde una perspectiva de proceso, memoria y almacenamiento. La capacidad de ajustar el número de dimensiones permite un mayor control sobre el costo general y el rendimiento. El parámetro dimensions no se admite en todas las versiones de la biblioteca de Python de OpenAI 1.x; para aprovechar este parámetro, se recomienda actualizar a la versión más reciente: pip install openai --upgrade.

Las pruebas del punto de referencia MTEB de OpenAI han detectado que, incluso cuando las dimensiones del modelo de tercera generación se reducen a menos de text-embeddings-ada-002 1536 dimensiones, el rendimiento sigue siendo ligeramente mejor.

DALL-E

Los modelos DALL-E generan imágenes a partir de mensajes de texto que proporciona el usuario. DALL-E 3 está disponible con carácter general para su uso con las API REST. DALL-E 2 y DALL-E 3 con SDK de cliente están en versión preliminar.

Whisper

Los modelos de Susurro se pueden usar para la conversión de voz en texto.

También puede usar el modelo de Whisper mediante la API de transcripción por lotes de Voz de Azure AI. Consulte ¿Qué es el modelo Whisper? para obtener más información sobre cuándo usar Voz de Azure AI frente a Azure OpenAI Service.

Texto a voz (versión preliminar)

Los modelos de texto a voz de OpenAI, actualmente en versión preliminar, se pueden usar para sintetizar texto a voz.

También puede usar las voces de texto a voz de OpenAI a través de Voz de Azure AI. Para obtener más información, consulte la guía Voces de texto a voz de OpenAI mediante Azure OpenAI Service o Voz de Azure AI.

Tabla de resumen de los modelos y disponibilidad por región

Modelos por tipo de implementación

Azure OpenAI proporciona a los clientes opciones en la estructura de hospedaje que se ajustan a sus patrones de uso y negocio. El servicio ofrece dos tipos principales de implementación:

• Estándar se ofrece con una opción de implementación global, enrutando el tráfico globalmente para proporcionar un mayor rendimiento.
• Aprovisionado también se ofrece con una opción de implementación global, lo que permite a los clientes comprar e implementar unidades de rendimiento aprovisionadas en toda la infraestructura global de Azure.

Todas las implementaciones pueden realizar exactamente las mismas operaciones de inferencia, pero la facturación, la escala y el rendimiento son considerablemente diferentes. Para más información sobre los tipos de implementación de Azure OpenAI, consulte nuestra guía de tipos de implementación .

Esta tabla no incluye información de disponibilidad regional de ajuste preciso. Consulte la sección de ajuste para obtener esta información.

Disponibilidad del modelo estándar de zona de datos

Selección del acceso al cliente

Además de las regiones anteriores que están disponibles para todos los clientes de Azure OpenAI, a algunos clientes ya existentes se les ha concedido acceso a las versiones de GPT-4 en regiones adicionales:

Modelos estándar por punto de conexión

Ajuste de modelos

¹ GPT-4 se encuentra actualmente en versión preliminar pública.

Asistentes (versión preliminar)

Para Asistentes se necesita una combinación de un modelo compatible y una región compatible. Algunas herramientas y funcionalidades requieren los modelos más recientes. Los siguientes modelos están disponibles en la API de asistentes, el SDK y Estudio de IA de Azure. La tabla siguiente es para pago por uso. Para obtener información sobre la disponibilidad de la unidad de rendimiento aprovisionada (PTU), consulte rendimiento aprovisionado. Los modelos y regiones enumerados se pueden usar con asistentes v1 y v2. Puede usar modelos estándar globales si se admiten en las regiones que se enumeran a continuación.

Retirada del modelo

Para obtener la información más reciente sobre las retiradas de modelos, consulte la guía de retirada de modelos.

Pasos siguientes

• Retirada y desuso de modelos
• Más información sobre cómo trabajar con modelos de Azure OpenAI
• Más información sobre Azure OpenAI.
• Más información sobre la realización de ajustes de modelos de Azure OpenAI