OpenAI рассказала, как GPT-Live 1 передаёт задачи рассуждения другой модели, одновременно поддерживая голосовой разговор. Система отделяет полнодуплексный разговор от работы, которую выполняет модель на серверной стороне.
По данным OpenAI, GPT-Live 1 использует специальный токен SpawnThinking для более надёжной передачи задач. На сессии вопросов и ответов Аарти из OpenAI описала архитектуру, которая отделяет голосовое взаимодействие от рассуждений на серверной стороне.
Прежним системам Realtime с поочерёдными репликами приходилось угадывать, когда человек закончил говорить, поэтому им было сложно обрабатывать короткие реплики-подтверждения и работать в шумных помещениях. В материале среди примеров использования GPT-Live названы бронирования в Yelp, поддержка Fin, уроки Speak и голосовой интерфейс Devin от Cognition.
Для разработчиков голосовых ИИ-агентов эти рекомендации не сводятся к выбору модели. OpenAI советует делать промпты для разговорной части короткими, хранить важные факты вне механизма автоматического сжатия истории разговора и требовать подтверждения перед повторной передачей задач при структурированном сборе данных.
Разработчикам голосовых агентов нужно управлять разговором и рассуждениями на серверной стороне как отдельными частями системы.
При структурированном сборе данных нужны явные правила подтверждения, чтобы задачи не передавались повторно раньше времени.
Более надёжная передача задач здесь остаётся заявлением OpenAI: результатов сравнительных тестов в материале нет.
Написано автоматически редакцией Made in 10 по источнику выше.
NHS England убрала заявление о том, что 137 больничных трастов получили пользу от федеративной платформы данных Palantir на базе ИИ. Это произошло после публикации The Guardian о том, что 29 трастов не использовали всю технологию или большую часть её возможностей.
Amazon Web Services выпустила UAEF — бесплатный инструмент с открытым исходным кодом для тестирования ИИ-агентов на разных программных фреймворках. Он оценивает агентов по 36 показателям и выявляет ухудшения при изменении промптов или моделей.
Databricks сообщает, что Genie Ontology успешно выполнила 91% задач в рабочей среде против 45% и 58% у 2 передовых ИИ-агентов. В тесте использовали вымышленную компанию, правила отчётности которой были разбросаны по таблицам, блокнотам и документам.