Что такое вызов функции?

Вызов функций - это способ, с помощью которого LLM может выполнять действия в своем окружении. Впервые он был введен в GPT-4, и затем был воспроизведен в других моделях.

Как и инструменты агента, вызов функций дает модели возможность осуществлять действия в своем окружении. Однако способность к вызову функций приобретается моделью в процессе обучения, и она меньше зависит от подсказок, чем другие техники агентов.

В разделе 1 Агент не учился использовать инструменты, мы просто предоставили список, и мы полагались на то, что модель способна обобщить определение плана с помощью этих инструментов.

В то время как здесь агент дообучается (тренируется) использовать инструменты с помощью вызова функций.

Как модель “учится” выполнять то или иное действие?

В первом разделе мы рассмотрели общий процесс работы агента. После того как пользователь предоставит агенту некоторые инструменты и сформулирует запрос, модель выполнит следующий цикл:

1. Рассуждение : Какое действие (действия) мне нужно предпринять, чтобы выполнить поставленную задачу.
2. Действие : Сформирует действие с нужным параметром и остановите генерацию.
3. Наблюдение : Получить результат выполнения.

В “типичном” диалоге с моделью через API, диалог будет чередоваться сообщениями пользователя и ассистента следующим образом:

conversation = [
    {"role": "user", "content": "Мне нужна помощь с моим заказом"},
    {"role": "assistant", "content": "Я буду рад помочь. Не могли бы вы сообщить номер вашего заказа?"},
    {"role": "user", "content": "Это ЗАКАЗ-123"},
]

Вызов функций привносит новые роли в диалог!

1. Одна новая роль для Действия
2. Одна новая роль для Наблюдения

Если мы возьмем Mistral API в качестве примера, это будет выглядеть так:

conversation = [
    {
        "role": "user",
        "content": "Каков статус моей транзакции T1001?"
    },
    {
        "role": "assistant",
        "content": "",
        "function_call": {
            "name": "retrieve_payment_status",
            "arguments": "{\"transaction_id\": \"T1001\"}"
        }
    },
    {
        "role": "tool",
        "name": "retrieve_payment_status",
        "content": "{\"status\": \"Paid\"}"
    },
    {
        "role": "assistant",
        "content": "Ваша транзакция T1001 была успешно оплачена."
    }
]

… Но вы сказали, что есть новая роль для вызова функций?

Да и нет, в этом случае, как и во многих других API, модель форматирует действие, которое нужно выполнить, как сообщение “ассистенту”. Затем шаблон чата представит это в виде специальных токенов для вызова функций.

• [AVAILABLE_TOOLS] - начать список доступных инструментов
• [/AVAILABLE_TOOLS] - завершить список доступных инструментов
• [TOOL_CALLS] - Сделать вызов инструмента (т.е. выполнить “Действие”)
• [TOOL_RESULTS] - “Наблюдать” результат действия
• [/TOOL_RESULTS] - Завершение наблюдение (т.е. модель может снова декодировать)

Мы еще поговорим о вызовах функций в этом курсе, но если вы хотите погрузиться глубже, то можете ознакомиться с этим отличным разделом документации

Теперь, когда мы узнали, что такое вызов функций и как он работает, давайте добавим некоторые возможности вызова функций к модели, которая еще не имеет таких возможностей: “google/gemma-2-2b-it”, добавив в модель несколько новых специальных токенов.

Чтобы сделать это, нам нужно сначала понять, что такое дообучение и LoRA.