1. Инструкция по тестированию экземпляра

Программное обеспечение «KageCore ML Platform»
Инструкция по тестированию экземпляра

В настоящем документе применяют следующие сокращения и обозначения:
AI - Artificial Intelligence, искусственный интеллект
API - Application Programming Interface, программный интерфейс взаимодействия
CPU - Central Processing Unit, процессор
GB - Gigabyte, гигабайт
GPU - Graphics Processing Unit, графический процессор
GUI - Graphical User Interface, графический интерфейс пользователя
HTTP - HyperText Transfer Protocol, протокол передачи гипертекста
IP - Internet Protocol, межсетевой протокол
LLM - Large Language Model, языковая модель, состоящая из нейронной сети со множеством параметров, обученной на большом количестве неразмеченного текста с использованием обучения без учителя
ML - Machine Learning, машинное обучение
NPM - Node Package Manager, менеджер пакетов, входящий в состав Node.js
OS - Operating System, операционная система
RAM - Random Access Memory, оперативная память
RBAC - Role-Based Access Control, управление доступом на основе ролей
SSH - Secure Shell, безопасная оболочка
UI - User Interface, пользовательский интерфейс
URL - Uniform Resource Locator, унифицированный указатель ресурса
БД - база данных
ВМ - виртуальная машина
ГБ - гигабайт
ИТ - информационные технологии
ОС - операционная система
ПО - программное обеспечение
ЦП - центральный процессор

Обозначения и сокращения

В настоящем документе применяют следующие термины с соответствующими определениями:
кластер - это логическая группа хостов с общими доменами хранения и ЦП одного типа (Intel или AMD). Если модели ЦП хостов относятся к разным поколениям, то используются только те функции, которые присутствуют во всех моделях. Виртуальные машины динамически распределяются между хостами кластера и могут перемещаться между ними в соответствии с политиками, заданными в кластере, и настройками виртуальных машин. Кластер является самым высоким уровнем, на котором могут определяться политики электропитания и разделения нагрузки
контейнер - легковесные запускаемые образы, в состав которых входит некоторое ПО и его зависимости. Поскольку в контейнерах виртуализируется операционная система, вы можете запускать контейнеры одинаково в любом совместимом окружении

Термины и определения

Платформа KageCore ML Platform, включая модули KageCore ML Platform. Модуль тарификации, KageCore ML Platform. Модуль витрины сервисов и KageCore ML Platform. Модуль пользовательского мониторинга (далее – ПО, Система), предназначена для предоставления высокопроизводительных вычислительных ресурсов и совокупности сервисов (IaaS/PaaS/SaaS) в интересах одной или нескольких организаций и проектов, позволяя эффективнее обучать и эксплуатировать модели искусственного интеллекта, оптимизировать производственные и научно-исследовательские процессы и тем самым способствовать ускоренному развитию технологий ИИ.

ПО предназначено для решения следующих задач:

формирование пула аппаратных средств (серверы с CPU и GPU, высокоскоростные сети, системы хранения), доступного пользователям из единого веб-интерфейса на основе квотирования, ролевой модели и механизма биллинга;
автоматизация процесса заказа ресурсов (vCPU, RAM, GPU, объём дисков) через портал самообслуживания и программный интерфейс (API);
использование готовых шаблонов (маркетплейса) с преднастроенными библиотеками и фреймворками (Keras, PyTorch, ONNX, Scikit-learn, TensorFlow), а также средствами разработки JupyterLab, VSCode;
использование механизмов контейнеризации и виртуализации для гибкой оркестрации и оперативного масштабирования ML-заданий;
предоставление инфраструктурных сервисов (виртуальные машины) и платформенных (среды разработки, БД, аналитические инструменты) в унифицированном виде;
разграничение прав и ресурсов на уровне отдельных организаций, проектов и групп, что позволяет параллельно вести несколько сценариев инференса и обучения;
внедрение роли и квот (RBAC), позволяющих ограничивать доступ и лимитировать объём ресурсов (CPU, GPU, память, хранилище);
учёт и детальный биллинг (включая CPU, GPU, хранение данных), обеспечивающие прозрачность и справедливое распределение затрат между участниками;
поддержка экспериментов и трассировки (логирование метрик, параметров, артефактов) с целью воспроизводимости и контроля качества обучаемых моделей;
предоставление пользователям возможности оперативного выбора и автоконфигурации необходимых сервисов из унифицированного каталога (marketplace), содержащего преднастроенные модули, которые охватывают базовые и прикладные сервисы, а также автоматизированного развертывания в контейнерной или виртуальной среде без ручной настройки;
обеспечение администраторов и пользователей платформы инструментами наблюдения за компонентами платформы. Предоставление возможности сбора доступных метрик и их отображение, а также сбора анализа журналов приложений, операционных систем, при необходимости.

Эксплуатация ИИ-моделей предполагает использование распределённой инфраструктуры на базе Docker и Kubernetes. Система пользовательского мониторинга обеспечивает:

оперативное выявление сбоев — аварийное завершение контейнеров, зависание процессов;
интеграцию с системами оповещения и автоматического реагирования — перезапуск контейнеров, масштабирование подов;
поддержку аудита и отчётности — сбор метрик для анализа эффективности и подготовки регламентных отчётов.

Мониторинг является неотъемлемой частью MLOps процессов, обеспечивающей прозрачность и управляемость жизненного цикла ИИ-решений.

Для оказания технической поддержки ПО пользователи сервиса могут направлять возникающие вопросы на электронную почту технической поддержки по адресу:
info@aidatech.pro
Для оказания технической поддержки ПО выделен единый номер:
+7 (495) 141 74 44

2.1 Доступ к KageCore ML Platform
Регистрация новых пользователей:

Для регистрации нового пользователя необходимо отправить запрос к администраторам системы или в техническую поддержку.
После регистрации на указанную почту пользователя придет уведомление с данными для входа на KageCore ML Platform. В письме содержатся: ссылка для входа, пароль для учетной записи и логин с вашим идентификатором.
У этой учетной записи есть разрешения, которые позволят регистрировать новых пользователей портала, создавать виртуальные ресурсы в проектах в рамках той папки, в которую добавлена учетная запись.
Парольная политика полностью соответствует политикам организации, где установлена инсталляция KageCore ML Platform.

Авторизация пользователей:

После регистрации и получения письма с данными для входа на KageCore ML Platform пользователь может авторизоваться на портале.
Для авторизации на KageCore ML Platform:
В поле Логин или e-mail введите логин, созданный ранее.
В поле Пароль введите пароль, созданный ранее.
Нажмите Войти.

После успешной авторизации вы попадете на главную страницу портала.
Если авторизоваться не получилось, проверьте введенные значения в поле Логин или e-mail и Пароль. Если проблема сохраняется, обратитесь в техническую поддержку.

2.2 Навигация по KageCore ML Platform
После успешной авторизации вы попадете на главную страницу портала.

2.2.1 Личный кабинет
Чтобы открыть информацию об аккаунте, нажмите в правом верхнем углу на круг с инициалами логина.

В информации об аккаунте отображается следующая информация:

имя и фамилия текущего пользователя;
логин на KageCore ML Platform;
электронная почта;
актуальная версия KageCore ML Platform.

Дополнительно имеется возможность скопировать токен доступа.

2.2.2. Главная страница
На главной странице KageCore ML Platform отображаются следующие компоненты:

Текущий контекст проекта с информацией о сумме списаний в сутки. При изменении набора заказов эта сумма обновляется автоматически.
Баланс счета с информацией о доступной сумме, которая обновляется автоматически.
Информационная панель История действий. В ней содержится информация о времени выполнения действия, последнем изменении, статусе выполнения действия и инициаторе.

На главной странице расположены:

главное окно. Информация в главном окне зависит от выбора в боковом меню;
боковое меню (сворачивается кнопкой < Скрыть меню, разворачивается нажатием на «->» ).

Пункты бокового меню:

Заказы.
Управление доступом:
Организация.
Сервисные аккаунты.
Учетные записи.
Роли.
SSH-ключи.
Мониторинг
Метрики Подов.
Метрики ВМ.

2.2.3. Заказы
В разделе Заказы отображается список всех созданных продуктов в проекте. К ним можно применить сортировку по «Дата создания».

Для заказа продукта необходимо:

В правом верхнем углу нажать кнопку «+ Добавить ресурс». Отобразятся доступные продукты во всех категориях.
Выберите необходимый продукт и укажите параметры для его создания. Подробное описание параметров в категориях:

Базовые вычисления.
Брокеры сообщений.
Базы данных.
Мониторинг.
Среды разработки.
Контейнеры.
Веб-приложения.
Управление секретами.

2.2.4. Тарификация заказов
При добавлении ресурса возникает окно настройки и конфигурации продукта. Каждый из параметров конфигурации рассчитывается отдельно. В зависимости от количества ресурсов проставляется стоимость по каждому из параметров.
При изменении конфигурации, к примеру выбора больше флейвора по cpu и ram, стоимость пере рассчитается автоматически.
Данный расчет происходит в каждом из продуктов.

2.2.5. Базовые вычисления
В разделе «Заказы» на вкладке «Базовые вычисления» можно заказать продукт в виде преднастроенной ВМ с заданными параметрами vCPU/RAM/GPU/Disk.
Для заказа услуги:

Перейти в категорию «Базовые вычисления».
Выбрать услугу:

Unix-подобные операционные системы:

Alma.
Astra.
CentOS.
Debian.
Red OS.
Ubuntu.

Операционная система Windows:

Windows Server 2019.

Также имеется возможность заказывать продукты из категории «Все продукты».

2.2.5.1. ВМ с unix-подобной ОС
Для заказа ВМ с ОС AlmaLinux, AstraLinux, CentOS, Debian, Red OS, Ubuntu выполните следующие действия:
1.Нажать на карточку продукта и заполнить параметры:

Имя – укажите название виртуальной машины.
Сетевой сегмент – выберите название логической портгруппы, в которой будет выделен статический IP-адрес для ВМ.
Дата-центр – выберите дата-центр.
Платформа – выберите платформу виртуализации, на которой будет размещена виртуальная машина.
Подключить дополнительный сетевой интерфейс – возможность подключения дополнительного сетевого интерфейса к ВМ (при наличии технической возможности).
Версия ОС – выберите целевую версию ОС (при наличии технической возможности).
Образ ОС – выберите образ ОС, который будет использоваться для создания ВМ.
СPU и RAM – выберите спецификацию ВМ, где СPU - количество vCPU, а RAM - размер оперативной памяти в Гбайт.
GPU – выбрать из выпадающего списка «Целая» или «Mig» для заказа целиковой GPU или части GPU (mig-instance) соответственно, после выпадет GPU HOST для выбора целевого хоста создания ВМ.
Добавьте графические карты – выберите необходимые GPU из списка доступных на целевом хосте.
Точка монтирования на диске (опционально) — заполните параметры для подключения дополнительных дисков:
Размер, Гб — укажите размер дополнительного диска.
Путь монтирования — укажите каталог для монтирования дополнительного диска.
Тип файловой системы — по умолчанию используется файловая система xfs.
SSH-ключ — выберите существующий SSH-ключ для доступа к ВМ или создайте новый, нажав «+».

Примечание
Значения в полях «Сетевой сегмент», «Дата-центр», «Платформа», «CPU и RAM» создаются на основании справочников, которыми управляет администратор.
Стоимость услуги зависит от выбранной конфигурации.

2.Нажать «Заказать».
Используйте указанный SSH-ключ для доступа к ВМ по SSH. IP адрес ВМ указан в свойствах ВМ.
С созданной виртуальной машиной можно выполнить следующие действия:

Изменить конфигурацию ВМ (количество vCPU/RAM, размер загрузочного диска, подключить или удалить дополнительные диски).
Выключить ВМ (в т.ч. принудительное выключение ВМ).
Удалить ВМ.

2.2.5.2. ВМ c ОС Windows
Для заказа ВМ на базе ОС Windows Server 2019 необходимо:
1.Нажать на карточку продукта и заполнить параметры:

Имя виртуальной машины – укажите название виртуальной машины.
Сетевой сегмент – выберите название логической портгруппы, из которой будет присвоение статического IP-адреса для виртуальной машины.
Дата-центр – выберите дата-центр.
Платформа – выберите платформу виртуализации, на которой будет размещена виртуальная машина.
Образ ОС – выберите образ ОС, который будет использоваться для создания ВМ.
СPU и RAM – выберите спецификацию ВМ, где СPU - количество vCPU, а RAM - размер оперативной памяти в Гбайт.
Загрузочный диск - укажите размер загрузочного диска в ГБ или оставьте по умолчанию.
Дополнительный диск (опционально):
Буква тома - выберите, какая буква будет присвоена этому диску.
Local Disk - укажите название для дополнительного диска.
Размер, ГБ - передвиньте ползунок слайдера, чтобы задать размер дополнительного диска.
Учетная запись - задайте логин для пользователя ВМ.
Пароль - задайте пароль пользователя. Он должен состоять из 10-20 символов, включать цифры, символы, прописные и строчные латинские буквы.

2.Нажать «Заказать».

2.3. Среды разработки
2.3.1 File Browser
1.Выбрать продукт File Browser в категории Среды разработки.
2.Заполнить параметры:

Название - укажите название пода.
Образ ОС - выберите образ операционной системы.
Платформа - выберите платформу СКО, на которой будет размещен под.
СPU и RAM - выберите спецификацию ВМ, где СPU - количество CPU, а RAM - размер оперативной памяти в Гбайт.

3.Нажать «Заказать».
После создания заказа вы можете перейти в файловый браузер по ссылке в поле «Точка подключения».
4.Продукт доступен в веб-браузере.

2.3.2. VS Code
1.Выбрать продукт VS Code в категории Среды разработки.
2.Заполнить параметры:

Наименование пода – укажите название пода.
СPU и RAM – выберите спецификацию ВМ, где СPU - количество CPU, а RAM - размер оперативной памяти в Гбайт.
Образ ОС – выберите один из предустановленных образов контейнера.
Платформа – выберите платформу СКО, на которой будет размещен под.
GPU – выберите тип GPU (целая или Mig), нажмите «Добавить» и выберите:
Количество – введите количество GPU.
Модель GPU –выберите модель GPU используемую в поде или оставьте по умолчанию.
Временное хранилище – введите размер временного хранилища в Гбайт или оставьте по умолчанию.
Публичный доступ – включите, если планируется сделать публичный доступ к ресурсу. По умолчанию, доступ к продукту доступен только его создателю.

3.Нажать «Заказать».
После создания заказа вы можете перейти в файловый браузер по ссылке в поле «Точка подключения».
4.Продукт доступен в веб-браузере.

2.3.3. Jupyter Lab
1.Выбрать продукт «Jupyter Lab» в категории Среды разработки.
2.Заполнить параметры:

Наименование пода – укажите название пода.
СPU и RAM – выберите спецификацию ВМ, где СPU - количество CPU, а RAM - размер оперативной памяти в Гбайт.
Образ ОС – выберите один из предустановленных образов контейнера.
Платформа – выберите платформу СКО, на которой будет размещен под.
GPU – выберите тип GPU (целая или Mig), нажмите «Добавить» и выберите:
Количество – введите количество GPU:
Модель GPU – выберите модель GPU используемую в поде или оставьте по умолчанию.
Временное хранилище – введите размер временного хранилища в Гбайт или оставьте по умолчанию;
Публичный доступ – включите, если планируется сделать публичный доступ к ресурсу. По умолчанию, доступ к продукту доступен только его создателю.

3.Нажать «Заказать».
После создания заказа вы можете перейти в файловый браузер по ссылке в поле «Точка подключения».
4.Продукт доступен в веб-браузере.

2.3.4. GitFlic
GitFlic – российская платформа для совместной разработки программного обеспечения, аналогичная GitHub или GitLab
Основные функции GitFlic:

система контроля версий Git: управление репозиториями, ветками, запросами на слияние и историями изменений;
инструменты CI/CD: автоматизация процессов сборки, тестирования и развертывания приложений с использованием пайплайнов, задач и агентов;
реестр пакетов: поддержка различных менеджеров пакетов, таких как Maven, NPM, PyPi и других;
инструменты безопасности: статический и динамический анализ кода для выявления уязвимостей на ранних этапах разработки;
гибкая настройка прав доступа: управление ролями и правами пользователей в проектах.

Для заказа услуги:
1.Выбрать продукт «GitFlic» в категории «Среды разработки».
2.Заполнить параметры:

Имя виртуальной машины - укажите название ВМ.
Пароль пользователя adminuser@admin.local – введите пароль, который будет использоваться для доступа к продукту к GitFlic с правами администратора.
Сетевой сегмент - выберите название логической портгруппы, в которой будет выделен статический IP-адрес для ВМ.
Дата-центр - выберите дата-центр.
Платформа - выберите платформу виртуализации, на которой будет размещена виртуальная машина.
Образ ОС - выберите образ ОС, который будет использоваться для создания ВМ.
СPU и RAM - выберите спецификацию ВМ, где СPU - количество vCPU, а RAM - размер оперативной памяти в Гбайт.
Загрузочный диск, Гб - введите размер загрузочного диска в Гбайт или оставьте по умолчанию.
Точка монтирования на диске (опционально) — заполните параметры для подключения дополнительных дисков:
Размер, Гб — укажите размер дополнительного диска.
Путь монтирования — укажите каталог для монтирования дополнительного диска.
Тип файловой системы — по умолчанию используется файловая система xfs.
SSH-ключ — выберите существующий SSH-ключ для доступа к ВМ или создайте новый, нажав «+».

3.Нажать «Заказать».
4.Для доступа к веб-интерфейсу необходимо перейти по ссылке в свойствах ВМ.
5.Выполнить вход пользователем adminuser@admin.local и указанным паролем.
6.После этого доступен интерфейс GitFlic.

2.3.4.1. Новый проект
Первый шаг при работе с GitFlic - создание проекта. Проект позволяет разработчикам удаленно и комплексно взаимодействовать с инструментом контроля версий. Владельцем проекта может быть как пользователь, так и их объединение в виде команды или компании.
Для начала работы с платформой создайте свой первый проект. Изначально проект пуст - в любой системе работы с кодом для продолжения работы с ним его необходимо склонировать, то есть создать локальный репозиторий и настроить его связь с удаленным. Это можно сделать всего несколькими командами в консоли (убедитесь, что у вас установлен Git). Первое время проще работать с проектом через протокол HTTP, но впоследствии гораздо удобнее использовать SSH.

2.3.4.2. Импорт проекта
На случай, если вы пользовались другой платформой работы с кодом, в GitFlic реализован механизм импорта проектов с других площадок. Он позволяет перенести не только файлы, но и историю коммитов, ветки и теги в GitFlic.

2.3.4.3. Создание форка
Если вы хотите использовать код другого проекта в качестве основы для вашего, или внести свой вклад в открытый проект, вы можете сделать форк на странице интересующего проекта.

2.3.4.4. Работа с кодом
Синхронизация и применение локальных изменений в проекте реализуется с помощью системы контроля версий Git. Если вы еще не знакомы с Git, можете ознакомиться с распространенными командами. Вместе с GitFlic также можно использовать GUI клиент для работы с Git через графический интерфейс.
Для автоматизированной работы с сервисом GitFlic предоставляет публичный API, который постоянно развивается.

2.3.4.5 Работа в команде
Скорее всего, вы захотите работать не в одиночку, а с единомышленниками. Вы можете пригласить новых пользователей или целую команду для работы над проектом, а также настроить уровни доступа в соответствующем разделе настроек. Над публичным проектом может работать неограниченное количество человек.
Для слияния изменений разных разработчиков, разрешения конфликтов и проведения валидации кода используется механизм запросов на слияние. Он позволяет ответственным пользователям в проекте контролировать процесс совместной разработки программного обеспечения.
Вы можете запланировать новую функциональность или отметить недочеты и ошибки в коде в соответствующем разделе. Конструктивное описание задачи поможет в развитии репозитория.
В GitFlic поддерживается выпуск релизов - сборок проекта в промежуточном состоянии. Для создания релиза необходима привязка тега.

2.4 Базы данных
2.4.1 Milvus
2.4.1.1 Версия Standalone
Milvus – это высокопроизводительная, масштабируемая векторная база данных. Она поддерживает различные варианты использования, от демоверсий, выполняемых локально в Jupyter Notebooks, до масштабных кластеров Kubernetes, обрабатывающих десятки миллиардов векторов.
Milvus состоит из следующих компонентов:

etcd;
minio;
milvus.

Для заказа продукта необходимо:
1.Выбрать продукт «Milvus» в категории «Базы данных».
2.Заполнить параметры:

Имя виртуальной машины – укажите название ВМ.
Сетевой сегмент – выберите название логической портгруппы, в которой будет выделен статический IP-адрес для ВМ.
Дата-центр – выберите дата-центр.
Платформа – выберите платформу виртуализации, на которой будет размещена виртуальная машина.
Образ ОС – выберите образ ОС, который будет использоваться для создания ВМ.
СPU и RAM – выберите спецификацию ВМ, где СPU - количество vCPU, а RAM - размер оперативной памяти в Гбайт.
Точка монтирования на диске (опционально) – заполните параметры для подключения дополнительных дисков:
Размер, Гб – укажите размер дополнительного диска.
Путь монтирования – укажите каталог для монтирования дополнительного диска.
Тип файловой системы – по умолчанию используется файловая система xfs.
SSH-ключ – выберите существующий SSH-ключ для доступа к ВМ или создайте новый, нажав «».

3.Нажать «Заказать».
4.Для доступа к веб-интерфейсу продукта необходимо перейти по ссылке в свойствах ВМ.
5.Взаимодействие с БД выполняется посредством кода. Ниже приведён пример взаимодействия. Первичная аутентификация осуществляется с помощью root:Milvus, далее необходимо сменить пароль.
Example_milvus.py:
from pymilvus import connections, MilvusClient, Collection, FieldSchema, CollectionSchema, DataType

# Подключение по логину/паролю
connections.connect(
    alias="default",
    host="172.24.30.20",             # Замените на ваш хост/контейнер
    port="19530",
    user="root",                 # Значение из MILVUS_USER
    password="Milvus"  # Значение из MILVUS_PASSWORD
)

print("Подключение через connections.connect() успешно.")

# Инициализация клиента с токеном (user:password)
client = MilvusClient(
    uri="http://172.24.30.20:19530",
    token="root:Milvus"
)

# Создание базы данных
client.create_database(
    db_name="my_database_2"
)

# Просмотр всех баз данных
print("Список баз данных:", client.list_databases())

# Описание базы данных
print("Описание базы 'default':", client.describe_database(db_name="default"))
# Создание схемы коллекции
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=False),
    FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=128),  # Убедитесь, что размер вектора соответствует
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=500),
    FieldSchema(name="subject", dtype=DataType.VARCHAR, max_length=100),
]

schema = CollectionSchema(fields, description="Collection for demo purposes")

# Создание коллекции
collection_name = "demo_collection"
collection = Collection(name=collection_name, schema=schema)

# Теперь коллекция создана, и можно вставлять данные
docs = [
    "Machine learning has been used for drug design.",
    "Computational synthesis with AI algorithms predicts molecular properties.",
    "DDR1 is involved in cancers and fibrosis.",
]

# Примерная функция эмбеддинга
import numpy as np
def embedding_fn_encode(texts):
    return [np.random.rand(128).tolist() for _ in texts]

vectors = embedding_fn_encode(docs)

# Подготовка данных
data = [
    {"id": 3 + i, "vector": vectors[i], "text": docs[i], "subject": "biology"}
    for i in range(len(vectors))
]

# Вставка данных в коллекцию
collection.insert(data)

print(f"Данные успешно вставлены в коллекцию {collection_name}.")

Для смены пароля:
from pymilvus import utility
utility.reset_password("root", "старый_пароль", "новый_пароль")

2.4.1.2. Кластерная версия
Кластерная версия Milvus – это распределённое развертывание, где каждый из ключевых сервисов (координаторы, узлы запросов, индексации и хранения) работает на отдельных узлах в Kubernetes, подключённых к etcd, MinIO и Kafka для отказоустойчивости, масштабирования и балансировки нагрузки. В отличие от Standalone (единого процесса с MinIO/etcd внутри одного контейнера или машины), кластерная схема позволяет обрабатывать сотни миллионов — десятки миллиардов векторов, обеспечивает гибкое масштабирование компонентов и высокую доступность, что критично для крупных, распределённых и высоконагруженных продакшенов.
Требования для запуска Milvus на Kubernetes:

1. Назначение Системы

2. Начало работы