Kiến trúc Hệ thống Chatbot Multi-Tenant

Dynamic Routing & RAG Integration

Mục tiêu Hệ thống

Hỗ trợ Multi-Tenant với khả năng cấu hình động mạnh mẽ

Cấu hình Động

Thêm/sửa topic, intent, prompt, backend mà không cần deploy lại hệ thống

RAG Integration

Truy xuất dữ liệu từ API backend và knowledge base nội bộ

Logging & Analytics

Lưu trữ đầy đủ session & message logs để training và phân tích

Kiến trúc Tổng thể

Dynamic Routing & Multi-Tenant Architecture

Tenants

Khách hàng/Tổ chức

Dynamic Router

Topic Mapping

RAG/APIs Layer

Data Retrieval

Post-Processing

Data Formatting

AI Interaction

User Output

Thành phần Chính

Các module cốt lõi của hệ thống

Tenants

Đại diện cho khách hàng hoặc tổ chức sử dụng hệ thống với cấu hình riêng biệt

Topics

Chức năng hoặc chủ đề chatbot xử lý với config endpoint, intents, prompts

Router Configs

Xác định routing logic và mapping intent → backend với confidence threshold

Agent Configs

Cấu hình model AI với llm_provider, llm_model, system_prompt và parameters

Pipeline

Retriever → LLM → Post-processor workflow để xử lý và format dữ liệu

Sessions & Logs

Quản lý session và lưu trữ hội thoại, entity, intent, response time

Quy trình Xử lý Yêu cầu

7 bước xử lý từ request đến response

1

Nhận Request

POST/GET API

2

Xác định Tenant + Topic

Load config

3

Routing & Intent Detection

AI + Rule-based

4

RAG Pipeline

Retriever → LLM

5

Post-processing

Format kết quả

6

AI Interaction

Follow-up QA

7

Ghi log

Sessions + message_logs

Ưu điểm Kiến trúc

Dynamic, Multi-Tenant, Scalable & RAG-ready

Dynamic & Config-driven

Thêm topic/intent/backend mà không cần deploy lại hệ thống

Multi-tenant

Mỗi tenant có thể chọn model & pipeline riêng biệt

Multi-backend

Một topic có thể gọi nhiều hệ thống backend khác nhau

RAG-ready

Dễ dàng tích hợp knowledge base và vector search

Scalable

Mở rộng nhiều agent & pipeline phức tạp

Version Control

Prompts & config có thể versioned và quản lý