Spring 팀이 2024년 공개한 Spring AI는 LLM API 연동과 추론 워크플로우를 Spring Boot 애플리케이션에 자연스럽게 녹여준다. 동시에 기업들은 데이터 주권과 지연 시간 문제를 해결하기 위해 엣지(Edge) 환경에서 모델을 실행하려는 요구가 커지고 있다. 이 글은 Spring AI를 활용해 엣지-클라우드 하이브리드 LLM 서비스를 설계하고 구현하는 방법을 제시한다.
\nChatClient, EmbeddingClient, ToolClient 등 빈을 통해 OpenAI, Anthropic, Azure OpenAI, Ollama 등 다양한 백엔드를 추상화한다.application.yml에 spring.ai.openai.* 또는 spring.ai.ollama.*를 선언하여 환경을 쉽게 전환한다.Thymeleaf, Mustache, Velocity)을 통해 프롬프트를 코드와 분리하여 관리할 수 있다.VectorStore 추상화를 활용해 Elasticsearch, Redis, Milvus 등 다양한 벡터 스토어와 연동한다.사용자 → Spring Boot API Gateway → (프롬프트 필터) → 라우팅 로직\n ├─ 엣지 추론 노드 (Ollama/ONNX Runtime)\n └─ 클라우드 LLM 백엔드 (Azure OpenAI 등)ChatClient 멀티 백엔드 구성이 핵심이다.Spring AI에서는 DelegatingChatClient를 구현해 조건별로 다른 ChatClient 빈을 선택할 수 있다.
@Component\npublic class PolicyAwareChatClient implements ChatClient {\n\n private final ChatClient edgeClient;\n private final ChatClient cloudClient;\n private final DataClassifier classifier;\n\n public PolicyAwareChatClient(@Qualifier(\"edgeChatClient\") ChatClient edgeClient,\n @Qualifier(\"cloudChatClient\") ChatClient cloudClient,\n DataClassifier classifier) {\n this.edgeClient = edgeClient;\n this.cloudClient = cloudClient;\n this.classifier = classifier;\n }\n\n @Override\n public ChatResponse call(ChatRequest request) {\n if (classifier.containsSensitiveData(request.getMessages())) {\n return edgeClient.call(request);\n }\n return cloudClient.call(request);\n }\n}docker compose를 이용해 Ollama, 텔레메트리, 헬스체크 에이전트를 동시에 기동한다.PromptTemplate에 정책을 삽입하고, 응답 필터로 민감어를 차단한다.MeterRegistry에 기록해 월간 비용 리포트를 자동 생성한다.AuditEventRepository에 보관한다.Project Reactor를 활용해 비동기 추론 호출을 처리한다.OpenTelemetry를 통해 spring.ai.client.response.latency 같은 커스텀 메트릭을 노출하고, Grafana에 대시보드를 구성한다.
ChatClient를 구성한다.Spring AI는 스프링 생태계에 자리 잡은 개발자 경험을 그대로 유지하면서 LLM 기능을 애플리케이션에 주입할 수 있게 한다. 여기에 엣지 추론 인프라를 결합하면 민감 데이터를 보호하고 지연 시간을 줄이는 동시에, 중앙 클라우드의 대규모 모델을 필요에 따라 호출하는 유연성을 확보할 수 있다. 하이브리드 아키텍처를 체계적으로 설계하고 운영 자동화를 갖춘다면, 엔터프라이즈 환경에서도 신뢰성 높은 LLM 서비스를 빠르게 론칭할 수 있다.
","tableOfContents":"