본문으로 건너뛰기

사용량 대시보드 가이드

image-20241104-070152.png

예상 소요 시간: 5분


LaaS 사용량 대시보드는 프로젝트와 그룹의 AI 리소스 사용 현황을 실시간으로 확인하고 관리할 수 있는 도구입니다. 이를 통해 사용자는 리소스 사용량과 비용을 모니터링하고, 최적의 비용 절감 전략을 수립할 수 있습니다.

LaaS 무료 체험하기


1. 개요

LaaS 사용량 대시보드는 사용량 모니터링 가이드사용량 분석 가이드의 상위 페이지로, 두 기능을 포함하여 보다 광범위한 사용량 관리 기능을 제공합니다.
사용자는 특정 프로젝트나 그룹의 실시간 리소스 소비 현황을 확인하고, 장기적인 분석을 통해 효율적인 운영 전략을 수립할 수 있습니다.

  • 사용량 모니터링: 프로젝트 및 프리셋별 실시간 사용 현황 확인

  • 사용량 분석: 과거 데이터를 기반으로 소비 패턴 분석 및 비용 절감 전략 수립


2. 사용량 대시보드 기능

LaaS 사용량 대시보드는 아래와 같은 주요 기능을 제공합니다.

2.1 사용량 모니터링

사용자는 대시보드를 통해 실시간 사용 현황을 확인할 수 있습니다.

  • 총 토큰 사용량: 입력 토큰과 출력 토큰을 포함한 총합 토큰 수 확인

  • 평균 토큰 사용량: 요청당 평균적으로 사용된 토큰 수 분석

  • 요청 횟수: 특정 기간 동안 발생한 API 요청 횟수 추적

  • 모델별 사용량: 프로젝트에서 사용된 LLM(대형 언어 모델)별 리소스 사용량 분석

시각적 분석 제공
데이터는 차트와 그래프를 통해 제공되며, 사용자는 클릭 한 번으로 세부 정보를 확인할 수 있습니다.

2.2 사용량 분석

과거 데이터 기반의 분석을 통해 비용 최적화 및 운영 효율성 증대가 가능합니다.

  • 기간별 사용량 비교: 특정 날짜 범위를 설정하여 사용량 변화 파악

  • 비효율적인 리소스 식별: 과도한 토큰 사용 또는 불필요한 API 요청 분석

  • 비용 절감 기회 탐색: 특정 프리셋이나 프로젝트의 최적화 가능성 확인

2.3 비용 관리 기능

비용 탭을 통해 프로젝트 및 프리셋별 비용 현황을 확인할 수 있습니다.

  • 토큰별 비용 분석: 입력 토큰, 출력 토큰, 총합 토큰별 비용 비교

  • 모델별 비용 비교: 사용된 LLM 모델별 비용 측정

  • 비용 절감 전략 수립: 불필요한 리소스 소비를 줄이고 비용 절감 방안 마련

💡 Tip: RAG(문서 검색) 기능을 사용한 요청의 비용도 별도로 확인할 수 있습니다.


3. 사용 예제 및 베스트 프랙티스

3.1 비용 절감 전략

최적의 모델 선택
요청의 복잡성에 따라 고비용 모델(GPT-4)과 저비용 모델(GPT-3.5)을 선택적으로 사용하여 비용을 절감할 수 있습니다.

샘플 테스트 후 배포
대규모 요청 실행 전, 샌드박스를 활용해 예상 사용량을 테스트하고 비용을 예측하세요.

사용량 한도 설정
그룹 또는 프로젝트 단위에서 월간 사용량 한도를 설정하여 예산 초과를 방지할 수 있습니다.

3.2 실제 사례

📌 사례 1: 모델 변경을 통한 비용 절감
A사는 특정 프로젝트에서 GPT-4 대신 GPT-3.5를 활용하도록 변경하여 연간 40%의 비용을 절감하였습니다.

📌 사례 2: RAG 요청 최적화
B팀은 RAG 기능을 활용한 검색 요청을 최적화하여 불필요한 문서 검색 비용을 줄이고, 25%의 비용을 절감할 수 있었습니다.


4. 자주 발생하는 문제 해결 (FAQ)

Q1. 특정 모델의 사용량이 예상보다 많습니다.

✅ 대시보드에서 모델별 사용량을 확인하고, 필요에 따라 다른 모델로 변경하세요.

Q2. 프로젝트 사용량이 초과되어 API 요청이 중지되었습니다.

사용량 대시보드에서 프로젝트 한도를 늘리거나, 관리자를 통해 추가 리소스를 요청하세요.

Q3. 사용량 데이터가 실시간으로 업데이트되지 않습니다.

✅ 데이터 반영에 약간의 지연(최대 5분) 이 발생할 수 있습니다. 일정 시간이 지난 후 다시 확인해 주세요.


이제 LaaS 사용량 대시보드를 활용하여 AI 리소스를 보다 효율적으로 관리해보세요.
LaaS 무료 체험하기

image-20241104-070152.png