PBDR Policy-Based Decentralized Routing for Enterprise AI Inference
Artur F Khairullin · container not stated · 2009
Not cached yet. This record was fetched live for this request and is stored after the lookup. Reopening the page should serve the cached copy.
· OpenAlex · preprint · 2009
Abstract
Растущий спрос на большие языковые модели (LLM) и другие ИИ-сервисы в корпоративной среде сдерживается высокими затратами на инфраструктуру, проблемами конфиденциальности данных и неполным использованием существующих вычислительных ресурсов. В данной работе представлена новая архитектура промежуточного программного обеспечения - децентрализованная маршрутизация на основе политик (Policy-Based Decentralized Routing, PBDR), которая преобразует гетерогенный набор стандартных рабочих станций в отказоустойчивый, частный и экономически эффективный кластер для вывода ИИ-моделей. В отличие от централизованных систем, PBDR работает без глобального планировщика или общей очереди запросов. Вместо этого используется управляемый клиентом механизм маршрутизации на основе политик, где каждый клиент независимо вычисляет вектор стоимости и применяет вектор весов политики через скалярное произведение для выбора оптимального вычислительного узла. В работе представлена формальная математическая модель системы, задача маршрутизации сформулирована как задача оптимизации с ограничениями, а также доказаны ключевые свойства алгоритма, включая корректность, отказоустойчивость и монотонность. Представлена детальная архитектурная спецификация, включая формальный Monitor API (OpenAPI v3), UML-диаграммы, строгую модель функции стоимости и всесторонний анализ сложности. На основе математической модели сетевого трафика и сценариев отказов показано, что подход PBDR является линейно масштабируемым, высокоустойчивым и вносит незначительные накладные расходы. Данная работа позиционирует оптимизатор на основе политик как новый класс промежуточного программного обеспечения для корпоративного ИИ с применением, выходящим за рамки LLM, и охватывающим гибкие политики маршрутизации с учетом специфики приложений.
Open the resolved locator · 10.17513/doi.26
Metadata licence: OpenAlex metadata (CC0)