У Qwen3.5-4B обнаружили нейрон, вмешательство в который заметно меняет тон ответов. Достаточно сдвинуть его активацию во время генерации и получается грубая и враждебная версия модели.
Эксперимент провела исследовательница под ником Lyra. Она предложила следующий рецепт:
слой 14, нейрон 8949: +1;
слой 13, нейрон 7956: −1.
Изменения применяются к down_proj при каждом входном запросе. Это разновидность activation steering: веса модели не переписываются, вместо этого во время инференса меняются её внутренние активации. Убрать вмешательство — и модель вернётся к исходному поведению.
В MLP-блоке трансформера нейроны передают информацию через матрицу down_proj. У каждого нейрона есть соответствующий столбец этой матрицы — W_down[:, n]. Если сдвинуть активацию нейрона, его вклад в выход MLP изменится в направлении этого столбца.
Чтобы масштаб вмешательства был сопоставим между разными нейронами и слоями, Lyra использует нормировку:
доза × median(‖resid‖ на выходе слоя L, токены 1:)
/ ‖W_down[:, n]‖
Здесь resid — остаточный поток модели, а W_down[:, n] — столбец матрицы проекции, соответствующий выбранному нейрону. Первый токен исключён из расчёта медианы: его норма может быть значительно выше из-за механизма attention sink.
Один нейрон действительно меняет характер модели
Эксперимент заинтересовал других исследователей. Команда Hedwig AI проверила эффект на Qwen3.5-4B. Использовано 20 запросов:
без вмешательства — ни одного враждебного ответа из 20;
два нейрона из исходного рецепта — 16 враждебных ответов из 20;
только L14 N8949 — 17 из 20;
только L13 N7956 — ни одного;
случайные пары нейронов — ни одного враждебного ответа из 100.
Основную работу выполняет L14 N8949. Второй нейрон сам по себе не делает модель агрессивной: напротив, исследователи заметили, что он добавляет ответам тепла. В паре с первым нейроном он почти не усиливает враждебность, зато ухудшает связность текста.
Прочие комбо
L15 N3920 + — сарказм и гиперболизированные оценки;
L12 N2920 − — склонность соглашаться с плохими идеями, то есть подхалимство;
L11 N6261 + — сдвиг в сторону обхода отказов на определённых запросах.
Как попробовать
Для экспериментов Lyra опубликовала проект neuron-explorer на GitHub.
Он позволяет исследовать нейроны Qwen3.5-4B, смотреть их активации и результаты вмешательств, а также общаться с моделью с разными настройками steering. Модель запускается локально: проект поддерживает MPS, CUDA и CPU. Для запуска автор предлагает установить зависимости через uv sync, а затем выполнить:
uv run python explorer/server.py
В интерфейсе есть трёхмерная карта нейронов, просмотр отдельных слоёв, поиск по активациям и сравнение ответов с вмешательством и без него. Также предусмотрена интеграция с Claude CLI через MCP.