서비스 소개 및 문제 정의

비영어권 사용자는 같은 의미의 질문에도 영어보다 많은 토큰을 사용해 비용·응답 속도·추론 품질에서 불리할 수 있습니다. 공식 제출 실험에서는 베트남어 질문이 35토큰, 영어 질문이 11토큰으로 3.2배 차이가 났습니다. Borderless AI Proxy는 사용자의 질문을 내부에서 영어로 처리한 뒤 원래 언어로 돌려줘, 사용자는 자국어를 유지하면서도 비용과 품질을 최적화할 수 있게 합니다.

핵심 기능 및 해결 방식

클라이언트와 외부 LLM 사이에서 요청을 최적화하는 엔터프라이즈 LLM 프록시 미들웨어입니다. 회사 API 키는 프록시 내부에서 관리하고 모든 트래픽은 단일 엔드포인트로 통제합니다.

처리는 언어와 요청 길이를 판단하는 CostRouter, 고유명사를 보호하는 TermMasker, 영어 기반 LLM 추론, 원어 재번역과 용어 복원의 4단계로 진행됩니다. 짧은 요청은 그대로 통과시켜 불필요한 번역 비용을 피하고, 공식 통제 실험에서는 기존 출력 토큰 대비 최대 51.3% 비용 절감 결과를 확인했습니다.

시장성 및 실행 전략

다국적 리모트 팀과 에이전시를 시작으로, 고객사별 용어집 분리와 실시간 마스킹을 제공하는 B2B 협업 인프라를 목표로 합니다. 2026년 오픈 베타로 초기 고객을 확보하고, 2027년 기업용 구독 서비스와 관리자용 절감 리포트를 제공한 뒤, 2028년 이후 저자원 언어를 위한 형태소 힌트 레이어와 LLM 기업 파트너십으로 확장하는 계획입니다.

카테고리

AI · 생산성 · 라이프스타일

기술 스택

참고

• 멋사대학 공식 제출 페이지