Посібник користувача NVIDIA NeMo Framework

NVIDIA NeMo Framework

Технічні характеристики

• Назва продуктуФреймворк NVIDIA NeMo
• Постраждалі платформи: Windows, Linux, macOS
• Версії, на які це впливає: Усі версії до 24-ї
• Вразливість безпеки: CVE-2025-23360
• Базовий бал оцінки ризику: 7.1 (CVSS версії 3.1)

Інструкція з використання продукту

Інсталяція оновлення безпеки:
Щоб захистити свою систему, виконайте такі дії:

1. Завантажте останню версію зі сторінки випусків NeMo-Framework-Launcher на GitHub.
2. Перейдіть до NVIDIA Product Security, щоб отримати додаткову інформацію.

Деталі оновлення безпеки:
Оновлення безпеки усуває вразливість у NVIDIA NeMo Framework, яка може призвести до виконання коду та витоку даних.ampering.

Оновлення програмного забезпечення:
Якщо ви використовуєте попередню версію гілки, рекомендується оновити її до останньої версії, щоб вирішити проблему безпеки.

закінченоview

NVIDIA NeMo Framework — це масштабований та хмарно-орієнтований фреймворк генеративного штучного інтелекту, створений для дослідників та розробників, що працюють над Великі мовні моделі, мультимодальні та Штучний інтелект мовлення (наприклад, Автоматичне розпізнавання мовлення і Синтез мовлення). Це дозволяє користувачам ефективно створювати, налаштовувати та розгортати нові генеративні моделі штучного інтелекту, використовуючи існуючий код та попередньо навчені контрольні точки моделей.

Інструкції з налаштування: Встановлення NeMo Framework

Великі мовні моделі та мультимодальні моделі
NeMo Framework забезпечує комплексну підтримку для розробки моделей великих мов (LLM) та мультимодальних моделей (MM). Він забезпечує гнучкість використання локально, в центрі обробки даних або з вашим вибраним хмарним постачальником. Він також підтримує виконання в середовищах із підтримкою SLURM або Kubernetes.

Курування даних
Куратор NeMo [1] — це бібліотека Python, яка містить набір модулів для аналізу даних та генерації синтетичних даних. Вони масштабовані та оптимізовані для графічних процесорів, що робить їх ідеальними для курування даних природною мовою для навчання або точного налаштування LLM. За допомогою NeMo Curator ви можете ефективно витягувати високоякісний текст з великого обсягу необроблених даних. web джерела даних.

Навчання та налаштування

NeMo Framework надає інструменти для ефективного навчання та налаштування LLM і мультимодальні моделі. Він включає конфігурації за замовчуванням для налаштування обчислювального кластера, завантаження даних та гіперпараметрів моделі, які можна налаштувати для навчання на нових наборах даних та моделях. Окрім попереднього навчання, NeMo підтримує як методи контрольованого точного налаштування (SFT), так і параметрично ефективного точного налаштування (PEFT), такі як LoRA, Ptuning та інші.

Існує два варіанти запуску навчання в NeMo – за допомогою інтерфейсу API NeMo 2.0 або за допомогою NeMo Run.

• З NeMo Run (рекомендовано): NeMo Run надає інтерфейс для оптимізації налаштування, виконання та управління експериментами в різних обчислювальних середовищах. Це включає запуск завдань на вашій робочій станції локально або на великих кластерах – як з підтримкою SLURM, так і з використанням Kubernetes у хмарному середовищі.
  • Швидкий старт перед тренуванням та PEFT з NeMo Run
• Використання API NeMo 2.0: Цей метод добре працює з простим налаштуванням, що включає невеликі моделі, або якщо ви зацікавлені в написанні власного завантажувача даних, циклів навчання або зміни шарів моделі. Він надає вам більше гнучкості та контролю над конфігураціями, а також спрощує розширення та налаштування конфігурацій програмно.
  • TraШвидкий старт роботи з NeMo 2.0 API
  • Міграція з NeMo 1.0 на NeMo 2.0 API

Вирівнювання

• NeMo-Вирівнювач [1] – це масштабований інструментарій для ефективного вирівнювання моделей. Інструментарій підтримує найсучасніші алгоритми вирівнювання моделей, такі як SteerLM, DPO, навчання з підкріпленням на основі зворотного зв'язку з людьми (RLHF) та багато інших. Ці алгоритми дозволяють користувачам вирівнювати мовні моделі, щоб вони були безпечнішими, нешкідливішими та кориснішими.
• Усі контрольні точки NeMo-Aligner сумісні з екосистемою NeMo, що дозволяє подальше налаштування та розгортання логічних висновків.

Покроковий робочий процес усіх трьох фаз RLHF на невеликій моделі GPT-2B:

• Навчання SFT
• Навчання моделі винагород
• Навчання з питань захисту прав споживачів (PPO)

Крім того, ми демонструємо підтримку різних інших нових методів вирівнювання:

• ДПО: легший алгоритм вирівнювання порівняно з RLHF з простішою функцією втрат.
• Самостійна гра Точне налаштування (SPIN)
• SteerLM: техніка, заснована на обумовленій SFT, з керованим виходом.

Перегляньте документацію для отримання додаткової інформації: Документація вирівнювання

Мультимодальні моделі

• NeMo Framework надає оптимізоване програмне забезпечення для навчання та розгортання сучасних мультимодальних моделей у кількох категоріях: мультимодальні мовні моделі, основи візуально-мовного розуміння, моделі перетворення тексту в зображення та інші, що виходять за рамки 2D-генерації з використанням полів нейронного випромінювання (NeRF).
• Кожна категорія розроблена з урахуванням конкретних потреб та досягнень у цій галузі, використовуючи передові моделі для обробки широкого спектру типів даних, включаючи текст, зображення та 3D-моделі.

Розгортання та виведення
NeMo Framework надає різні шляхи для виведення LLM, враховуючи різні сценарії розгортання та потреби в продуктивності.

Розгортання за допомогою NVIDIA NIM

• NeMo Framework бездоганно інтегрується з інструментами розгортання моделей корпоративного рівня за допомогою NVIDIA NIM. Ця інтеграція базується на NVIDIA TensorRT-LLM, що забезпечує оптимізований та масштабований висновок.
• Щоб отримати докладнішу інформацію про NIM, відвідайте веб-сайт NVIDIA webсайт.

Розгортання за допомогою TensorRT-LLM або vLLM

• NeMo Framework пропонує скрипти та API для експорту моделей до двох бібліотек, оптимізованих для логічного виводу, TensorRT-LLM та vLLM, а також для розгортання експортованої моделі за допомогою сервера NVIDIA Triton Inference Server.
• Для сценаріїв, що вимагають оптимізованої продуктивності, моделі NeMo можуть використовувати TensorRT-LLM, спеціалізовану бібліотеку для прискорення та оптимізації виведення LLM на графічних процесорах NVIDIA. Цей процес включає перетворення моделей NeMo у формат, сумісний з TensorRT-LLM, за допомогою модуля nemo.export.
  • Розгортання LLM завершеноview
  • Розгортання моделей великих мов NeMo за допомогою NIM
  • Розгортання великих мовних моделей NeMo за допомогою TensorRT-LLM
  • Розгортання моделей великих мов NeMo за допомогою vLLM

Підтримувані моделі

Великі мовні моделі

Великі мовні моделі

Великі мовні моделі	Передтренінг та SFT	ПЕФТ	Вирівнювання	Конвергенція навчання FP8	TRT/TRTLLM	Перетворити на та з обіймаючого обличчя	Оцінка
Лама3 8B/70B, Лама3.1 405B	так	так	x	Так (частково перевірено)	так	Обидва	так
Мікстрал 8x7B/8x22B	так	так	x	Так (неперевірено)	так	Обидва	так
Немотрон 3 8B	так	x	x	Так (неперевірено)	x	Обидва	так
Немотрон 4 340B	так	x	x	Так (неперевірено)	x	Обидва	так
Байчуань2 7B	так	так	x	Так (неперевірено)	x	Обидва	так
ЧатGLM3 6B	так	так	x	Так (неперевірено)	x	Обидва	так
Джемма 2B/7B	так	так	x	Так (неперевірено)	так	Обидва	так
Джемма2 2B/9B/27B	так	так	x	Так (неперевірено)	x	Обидва	так
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	так	так	x	Так (неперевірено)	x	x	так
Phi3 міні 4k	x	так	x	Так (неперевірено)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	так	так	x	Так (неперевірено)	так	Обидва	так
СтарКодер 15B	так	так	x	Так (неперевірено)	так	Обидва	так
StarCoder2 3B/7B/15B	так	так	x	Так (неперевірено)	так	Обидва	так
БЕРТ 110М/340М	так	так	x	Так (неперевірено)	x	Обидва	x
Т5 220М/3Б/11Б	так	так	x	x	x	x	x

 

Моделі мови зору

 

Вбудовування моделей

 

Моделі Всесвітнього фонду

Примітка
NeMo також підтримує попереднє навчання як для дифузійної, так і для авторегресивної архітектур text2world моделі фундаменту.

Штучний інтелект мовлення

Розробка моделей розмовного штучного інтелекту – це складний процес, який включає визначення, побудову та навчання моделей у певних областях. Цей процес зазвичай вимагає кількох ітерацій для досягнення високого рівня точності. Він часто включає кілька ітерацій для досягнення високої точності, точне налаштування різних завдань та специфічних для предметної області даних, забезпечення ефективності навчання та підготовку моделей до розгортання логічного висновку.

NeMo Framework забезпечує підтримку навчання та налаштування моделей штучного інтелекту мовлення. Це включає такі завдання, як автоматичне розпізнавання мовлення (ASR) та синтез тексту в мовлення (TTS). Він пропонує плавний перехід до розгортання на рівні підприємства за допомогою NVIDIA Riva. Щоб допомогти розробникам та дослідникам, NeMo Framework включає найсучасніші попередньо навчені контрольні точки, інструменти для відтворюваної обробки мовленнєвих даних та функції для інтерактивного дослідження та аналізу наборів мовленнєвих даних. Компоненти NeMo Framework для штучного інтелекту мовлення такі:

Навчання та налаштування
NeMo Framework містить усе необхідне для навчання та налаштування моделей мовлення (ASR, Класифікація мовлення, Розпізнавання мовця, Ведення діалогу спікера, і TTS) відтворюваним чином.

Попередньо навчені моделі SOTA

• NeMo Framework надає найсучасніші рецепти та попередньо навчені контрольні точки кількох ASR і TTS моделі, а також інструкції щодо їх завантаження.
• Інструменти для мовлення
• NeMo Framework надає набір інструментів, корисних для розробки моделей ASR та TTS, зокрема:
  • Примусовий вирівнювач NeMo (NFA) для генерації часових показників на рівні токенів, слів та сегментівampмовлення в аудіо за допомогою моделей автоматичного розпізнавання мовлення NeMo на основі CTC.
  • Процесор мовних даних (SDP), інструментарій для спрощення обробки мовних даних. Він дозволяє представляти операції обробки даних у конфігурації file, мінімізуючи шаблонний код та забезпечуючи відтворюваність і можливість спільного використання.
  • Дослідник мовних даних (SDE), на основі Dash web додаток для інтерактивного дослідження та аналізу наборів мовленнєвих даних.
  • Інструмент створення наборів даних який забезпечує функціональність для вирівнювання довгих аудіо fileз відповідними транскриптами та розділити їх на коротші фрагменти, придатні для навчання моделі автоматичного розпізнавання мовлення (ASR).
  • Інструмент порівняння для моделей ASR для порівняння прогнозів різних моделей ASR на рівні точності слів та висловлювання.
  • Оцінювач ASR для оцінки продуктивності моделей ASR та інших функцій, таких як виявлення голосової активності.
  • Інструмент нормалізації тексту для перетворення тексту з письмової форми в усну і навпаки (наприклад, «31-й» проти «тридцять перший»).
• Шлях до розгортання
• Моделі NeMo, навчені або налаштовані за допомогою NeMo Framework, можна оптимізувати та розгорнути за допомогою NVIDIA Riva. Riva надає контейнери та Helm-чарти, спеціально розроблені для автоматизації кроків розгортання одним натисканням кнопки.

Інші ресурси

Репозиторії GitHub

• НеМоГоловний репозиторій для NeMo Framework
• НеМо–бігтиІнструмент для налаштування, запуску та керування експериментами з машинного навчання.
• Вирівнювач NeMo: Масштабований інструментарій для ефективного вирівнювання моделей
• NeMo-куратор: Масштабований інструментарій попередньої обробки та курування даних для LLM

Отримання допомоги
Спілкуйтеся зі спільнотою NeMo, ставте запитання, отримуйте підтримку або повідомляйте про помилки.

• Обговорення NeMo
• Проблеми NeMo

Мови програмування та фреймворки

• PythonОсновний інтерфейс для використання NeMo Framework
• PytorchNeMo Framework побудовано на базі PyTorch

Ліцензії

• Репозиторій NeMo на Github ліцензований за ліцензією Apache 2.0.
• NeMo Framework ліцензовано відповідно до УГОДИ ПРО ПРОДУКТ NVIDIA AI. Розпакувавши та використовуючи контейнер, ви приймаєте умови цієї ліцензії.
• Контейнер NeMo Framework містить матеріали Llama, що регулюються Ліцензійною угодою спільноти Meta Llama3.

Виноски
Наразі підтримка NeMo Curator та NeMo Aligner для мультимодальних моделей знаходиться в розробці та буде доступна дуже скоро.

FAQ

З: Як я можу перевірити, чи вражена моя система вразливістю?
В: Ви можете перевірити, чи вразлива ваша система, перевіривши версію встановленого NVIDIA NeMo Framework. Якщо вона нижча за 24, ваша система може бути вразливою.

З: Хто повідомив про проблему безпеки CVE-2025-23360?
A: Про проблему безпеки повідомив Or Peles – JFrog Security. NVIDIA висловлює подяку за їхній внесок.

З: Як я можу отримувати майбутні сповіщення про безпеку?
A: Відвідайте сторінку безпеки продуктів NVIDIA, щоб підписатися на сповіщення про бюлетень безпеки та отримувати інформацію про оновлення безпеки продуктів.