https://dribbble.com/organic-traffic https://www.24propertyinspain.com/user/profile/443709 https://lilianweng.github.io/lil-log/ От того, как вы выстраиваете диалог с ИИ и насколько подробно описываете контекст, зависит качество результата. Токены представляют собой фрагменты текста, обрабатываемые моделью, и использование меньшего их количества обычно снижает затраты. Для экономии старайтесь делать запросы краткими и ясными, при этом сохраняя достаточно информации для получения точных ответов. Один из механизмов снижения стоимости — использование нейросетей как для генерации «синтетических» обучающих данных, так и для оценки качества работы новой модели. Такой подход называют RLAIF (reinforcement learning with AI feedback) — обучение с подкреплением от ИИ. Задача одного вопроса или задачи в запросе позволяет модели сосредоточиться на конкретной теме, что приводит к более детализированному и точному ответу. Без использования top-k семплирования модель будет рассматривать любой токен из своего словаря как потенциальное продолжение фразы. Значит, существует определенная, хоть и небольшая, вероятность того, что на выходе мы получим что-то вроде «Солнце встает на кухне». С применением же top-k семплирования модель отфильтровывает наименее подходящие токены и концентрируется только на выбранном количестве наиболее вероятных вариантов. Отсекая этот «хвост» некорректных токенов, мы уменьшаем разнообразие ответов, но значительно повышаем их качество. Помимо температуры существует много способов решения дилеммы качества и разнообразия. На этом этапе модели предоставляют размеченные примеры для последующей генерации ею более точных и контекстуально верных ответов на задачу-адресата [3]. Точная настройка позволяет модели использоваться в приложениях, осуществляющих перевод с иностранных языков, чаты «вопрос-ответ» или генерацию текста. Пример успешного дообучения языковой модели для задачи преобразования текста в Cypher запрос с использованием базы данных знаний Neo4j можно на