본문으로 건너뛰기

사용량 모니터링 가이드

image-20241104-070152.png

예상 소요 시간: 5분

LaaS 사용량 모니터링 기능을 활용하면 그룹, 프로젝트, 프리셋의 AI 리소스 사용 현황을 실시간으로 확인하고, 최적의 운영 전략을 수립할 수 있습니다.
이 가이드는 사용량 데이터의 주요 구성 요소를 이해하고, 효과적인 비용 절감 전략을 세우는 데 도움이 됩니다.

LaaS 무료 체험하기

1. 개요​

LaaS의 사용량 모니터링 기능은 사용자가 그룹, 프로젝트, 프리셋 단위로 AI 모델의 리소스 사용량을 실시간으로 확인하고 분석할 수 있도록 지원하는 도구입니다.
이를 통해 비효율적인 리소스 사용을 감지하고, 운영 비용을 최적화하는 전략을 세울 수 있습니다.

📌 주요 기능

  • 실시간 사용량 모니터링 및 시각화된 데이터 제공

  • 그룹, 프로젝트, 프리셋 단위로 리소스 사용량 비교 가능

  • 특정 모델별 사용량 분석 및 최적화 지원

  • 토큰 소비 패턴을 분석하여 비용 절감 전략 마련

🔗 사용량 대시보드 바로가기
사용량 대시보드

2. 사용량 모니터링 기능​

2.1 그룹, 프로젝트, 프리셋 단위 사용량 확인​

사용자는 3단계 계층 구조(그룹 → 프로젝트 → 프리셋)를 기준으로 사용량을 확인할 수 있습니다.

  • 그룹 단위: 특정 그룹 내 모든 프로젝트와 프리셋의 리소스 사용량을 한눈에 파악

  • 프로젝트 단위: 개별 프로젝트의 모델 호출 횟수 및 비용 분석

  • 프리셋 단위: 특정 프리셋에서 사용된 AI 모델별 리소스 사용량 상세 확인

각 단위에서 제공되는 주요 정보:

  • 총 토큰 사용량: 입력 및 출력 토큰 총합

  • 평균 토큰 사용량: 요청당 사용된 평균 토큰 수

  • 요청 횟수: 특정 기간 동안 실행된 API 호출 횟수

  • 모델별 사용량: 특정 모델이 차지하는 리소스 비율

🔗 프로젝트 사용량 제어 기능
프로젝트 사용량 제어

2.2 실시간 사용량 차트 및 분석​

LaaS 사용량 대시보드는 실시간 데이터를 시각적으로 제공하여 운영 상황을 쉽게 파악할 수 있도록 돕습니다.

  • 토큰별 사용량 분석

    • 입력 토큰과 출력 토큰을 분리하여 확인 가능

    • 특정 요청이 과도한 리소스를 소비하는지 즉시 감지 가능

  • 모델별 사용량 분석

    • GPT-4, GPT-3.5, Claude, Solar Mini 등의 모델별 사용량 비교

    • 비효율적인 모델 사용 감지 및 비용 절감 방안 모색

🔗 모델별 비용 확인
모델별 비용

3. 비용 최적화 및 절감 전략​

효율적인 AI 리소스 운영을 위해 사용자는 아래와 같은 전략을 활용할 수 있습니다.

3.1 비용 최적화를 위한 모델 선택​

  • 복잡한 요청은 GPT-4, 일반적인 요청은 GPT-3.5를 사용하는 혼합 전략 적용

  • 모델별 비용을 비교하여 저비용 모델로 전환 가능성 검토

  • 불필요한 API 호출 최소화하여 토큰 사용 절감

예시: GPT-4에서 실행 중인 프로젝트의 60%를 GPT-3.5로 전환하여 연간 40% 비용 절감

🔗 모델 변경 방법 가이드
API 배포 및 릴리즈

3.2 사용량 한도 설정 및 초과 방지​

LaaS에서는 그룹 및 프로젝트 단위로 사용량 한도를 설정할 수 있습니다.

  • 월간 사용량 한도 설정: 예산 초과를 방지하고 비용을 효과적으로 관리

  • 사용량 초과 시 알림 기능: 프로젝트가 설정된 한도를 초과할 경우 즉시 알림 제공

📌 예제:
A 기업은 프로젝트별 월간 사용량을 설정하고, 고비용 모델을 제한하는 전략으로 25%의 비용 절감 효과를 거두었습니다.

🔗 프로젝트 사용량 제한 설정 방법
사용량 제한

4. 사용 예제 및 베스트 프랙티스​

4.1 실시간 사용량 분석을 통한 비용 절감​

  • 사용량 대시보드에서 특정 모델의 과다 사용 감지

  • 해당 모델을 저비용 모델로 변경하여 예산 절감

🔗 사용량 분석 기능
사용량 분석 가이드

4.2 프로젝트별 사용량 최적화 전략​

  • 사용량이 많은 프로젝트를 분석하여 불필요한 API 호출 감소

  • RAG(문서 검색) 기능을 최적화하여 검색 요청 비용 감소

🔗 RAG 비용 관리 방법
문서 폴더 기능 가이드

5. 문제 해결 (FAQ)​

Q1. 특정 프로젝트의 사용량이 급증하는 이유는?​

✅ 대시보드에서 모델별 사용량 분석 기능을 활용하여 특정 모델이 과도하게 사용되고 있는지 확인하세요.

Q2. 사용량 한도를 초과하면 어떻게 되나요?​

✅ 설정된 한도를 초과할 경우, 해당 프로젝트의 API 호출이 자동으로 차단됩니다.
추가 사용이 필요하면 관리자가 한도를 조정해야 합니다.

Q3. 실시간 데이터 업데이트가 지연되는 경우 해결 방법은?​

✅ 데이터는 최대 5분 간격으로 업데이트되므로, 일정 시간이 지난 후 다시 확인하세요.

🔗 추가 지원 문의
문의하기

LaaS의 사용량 모니터링 기능을 활용하여 리소스를 최적화하고 비용을 효과적으로 관리해 보세요.
LaaS 무료 체험하기

image-20241104-070152.png