본문으로 건너뛰기

사용량 대시보드 가이드

image-20241104-070152.png

예상 소요 시간: 5분


LaaS 사용량 대시보드는 프로젝트와 그룹의 AI 리소스 사용 현황을 실시간으로 확인하고 관리할 수 있는 도구입니다. 이를 통해 사용자는 리소스 사용량과 비용을 모니터링하고, 최적의 비용 절감 전략을 수립할 수 있습니다.

LaaS 무료 체험하기


1. 개요​

LaaS 사용량 대시보드는 사용량 모니터링 가이드 및 사용량 분석 가이드의 상위 페이지로, 두 기능을 포함하여 보다 광범위한 사용량 관리 기능을 제공합니다.
사용자는 특정 프로젝트나 그룹의 실시간 리소스 소비 현황을 확인하고, 장기적인 분석을 통해 효율적인 운영 전략을 수립할 수 있습니다.

  • 사용량 모니터링: 프로젝트 및 프리셋별 실시간 사용 현황 확인

  • 사용량 분석: 과거 데이터를 기반으로 소비 패턴 분석 및 비용 절감 전략 수립


2. 사용량 대시보드 기능​

LaaS 사용량 대시보드는 아래와 같은 주요 기능을 제공합니다.

2.1 사용량 모니터링​

사용자는 대시보드를 통해 실시간 사용 현황을 확인할 수 있습니다.

  • 총 토큰 사용량: 입력 토큰과 출력 토큰을 포함한 총합 토큰 수 확인

  • 평균 토큰 사용량: 요청당 평균적으로 사용된 토큰 수 분석

  • 요청 횟수: 특정 기간 동안 발생한 API 요청 횟수 추적

  • 모델별 사용량: 프로젝트에서 사용된 LLM(대형 언어 모델)별 리소스 사용량 분석

시각적 분석 제공
데이터는 차트와 그래프를 통해 제공되며, 사용자는 클릭 한 번으로 세부 정보를 확인할 수 있습니다.

2.2 사용량 분석​

과거 데이터 기반의 분석을 통해 비용 최적화 및 운영 효율성 증대가 가능합니다.

  • 기간별 사용량 비교: 특정 날짜 범위를 설정하여 사용량 변화 파악

  • 비효율적인 리소스 식별: 과도한 토큰 사용 또는 불필요한 API 요청 분석

  • 비용 절감 기회 탐색: 특정 프리셋이나 프로젝트의 최적화 가능성 확인

2.3 비용 관리 기능​

비용 탭을 통해 프로젝트 및 프리셋별 비용 현황을 확인할 수 있습니다.

  • 토큰별 비용 분석: 입력 토큰, 출력 토큰, 총합 토큰별 비용 비교

  • 모델별 비용 비교: 사용된 LLM 모델별 비용 측정

  • 비용 절감 전략 수립: 불필요한 리소스 소비를 줄이고 비용 절감 방안 마련

💡 Tip: RAG(문서 검색) 기능을 사용한 요청의 비용도 별도로 확인할 수 있습니다.


3. 사용 예제 및 베스트 프랙티스​

3.1 비용 절감 전략​

✔ 최적의 모델 선택
요청의 복잡성에 따라 고비용 모델(GPT-4)과 저비용 모델(GPT-3.5)을 선택적으로 사용하여 비용을 절감할 수 있습니다.

✔ 샘플 테스트 후 배포
대규모 요청 실행 전, 샌드박스를 활용해 예상 사용량을 테스트하고 비용을 예측하세요.

✔ 사용량 한도 설정
그룹 또는 프로젝트 단위에서 월간 사용량 한도를 설정하여 예산 초과를 방지할 수 있습니다.

3.2 실제 사례​

📌 사례 1: 모델 변경을 통한 비용 절감
A사는 특정 프로젝트에서 GPT-4 대신 GPT-3.5를 활용하도록 변경하여 연간 40%의 비용을 절감하였습니다.

📌 사례 2: RAG 요청 최적화
B팀은 RAG 기능을 활용한 검색 요청을 최적화하여 불필요한 문서 검색 비용을 줄이고, 25%의 비용을 절감할 수 있었습니다.


4. 자주 발생하는 문제 해결 (FAQ)​

Q1. 특정 모델의 사용량이 예상보다 많습니다.​

✅ 대시보드에서 모델별 사용량을 확인하고, 필요에 따라 다른 모델로 변경하세요.

Q2. 프로젝트 사용량이 초과되어 API 요청이 중지되었습니다.​

✅ 사용량 대시보드에서 프로젝트 한도를 늘리거나, 관리자를 통해 추가 리소스를 요청하세요.

Q3. 사용량 데이터가 실시간으로 업데이트되지 않습니다.​

✅ 데이터 반영에 약간의 지연(최대 5분) 이 발생할 수 있습니다. 일정 시간이 지난 후 다시 확인해 주세요.


이제 LaaS 사용량 대시보드를 활용하여 AI 리소스를 보다 효율적으로 관리해보세요.
LaaS 무료 체험하기

image-20241104-070152.png