Специалисты T-Bank AI научились управлять смысловыми процессами внутри нейросетей
Языковые модели, такие как ChatGPT, строят свои ответы на основе многослойной архитектуры, где каждый слой обрабатывает информацию, «передавая» ее дальше. До последнего времени исследователи могли только фиксировать, какие признаки (или концепты) появляются в этих слоях, не понимая, как именно они эволюционируют.
Новый метод позволяет получить информацию, откуда модель взяла данные — из контекста запроса или внутренних данных, и контролировать ее поведение, предотвращая выдачу некорректных ответов. Он не требует дополнительных вычислительных ресурсов, его могут использовать любые компании. Это позволяет напрямую исправлять ошибки в конкретном месте, что позволит избежать больших затрат на дообучение моделей.
Эксперименты показали, что можно усиливать или подавлять определенные признаки на разных этапах обработки, тем самым изменяя стиль, тематику или тональность генерируемого текста. Это особенно важно для создания безопасных и этичных решений на базе ИИ — например, для фильтрации нежелательных тем в чат-ботах без их переобучения.
