ПК для нейросетей и AI
Инференс и дообучение упираются в объём видеопамяти и скорость GPU. Собираем систему под LLM, генерацию изображений и обучение.
Что решает задачу
Видеопамять (VRAM)
Главный фактор: определяет, какая модель влезет. 12–16 ГБ → модели 7–13B и SDXL/Flux, 24 ГБ → 32B в квантовании, 32 ГБ и выше → 70B с оффлоадом.
GPU и тензорные ядра
Скорость инференса (токены/сек) и шагов диффузии. RTX 50-серии с ускорением FP8 даёт кратный прирост на генерации.
Оперативная память
Загрузка датасетов и оффлоад слоёв модели из VRAM. Под обучение и большие контексты берём 64 ГБ и выше.
NVMe Gen4/5
Быстрая подгрузка весов и чекпоинтов. На 70B-моделях вес читается десятками ГБ — медленный диск тормозит старт.
Системы под задачу
Какую систему под какой уровень
Частые вопросы
Влезет ли Llama 70B?
В квантовании Q4 модели нужно ~40 ГБ видеопамяти. На 32 ГБ комфортно идёт 32B, а 70B — с оффлоадом части слоёв в RAM или на двух картах.
Можно ли дообучать модели?
LoRA и QLoRA на 24–32 ГБ VRAM реально для моделей 7–13B. Для большего нужна проф-карта или несколько GPU.
Что важнее — GPU или CPU?
Для нейросетей решает GPU и объём VRAM. CPU нужен ровный, но не топовый — он загружает данные, а не считает модель.
Нужна система точно под ваш пайплайн?
Соберите свою в конфигураторе или опишите задачу инженеру — спроектируем систему под ваши программы и объёмы.