온프레미스 LLM 추론 서버 소프트웨어

본 제품은 기관 내부 서버의 GPU에 대규모 언어모델(LLM)을 적재하고, OpenAI API와 같은 요청·응답 형식(Chat Completions·Completions, SSE 스트리밍)으로 추론 기능을 제공하는 Rust 기반 온프레미스 LLM 추론 서버이다. 같은 추론 엔진 위에 다국어 번역 배치 도구를 포함한다. 번역 도구는 숫자·단위·부정 표현 보존 규칙을 적용하여 금융 앱 화면 문구를 지정 언어로 번역하고, 원문과 결과를 추가 학습(파인튜닝)용 JSONL 데이터로 기록한다.