[AI 서비스 개발] CrewAI 사용 토큰량 확인하기

crewai kickoff 후에 result 값을 보면 다음과 같은 구성으로 값이 반환된다

"raw": "{}"
"pydantic": {},
"json_dict": null,
"tasks_output": [
  {
    "description": ""
    "name": null,
    "expected_output": "
    "summary": "",
    "raw": "{}"
    "pydantic": null,
    "json_dict": null,
    "agent": "agent1",
    "output_format": "raw"
  },
  {
    "description": ""
    "name": null,
    "expected_output": "
    "summary": "",
    "raw": "{}"
    "pydantic": null,
    "json_dict": null,
    "agent": "agent2",
    "output_format": "raw"
  },
],
"token_usage": {
  "total_tokens": 74423,
  "prompt_tokens": 60508,
  "cached_prompt_tokens": 23552,
  "completion_tokens": 13915,
  "successful_requests": 10
}

 

- total_tokens: 전체 사용된 토큰의 총 갯수 (prompt_tokens + completion_tokens)

- prompt_tokens: 모델에게 보낸 모든 입력의 토큰 수(사용자 프롬프트, 시스템 메시지, 역할 설명, 이전 대화내용 등)

* 에이전트가 여러번 호출되거나 컨텍스트를 유지하는 구조일때 누적되며, cached_prompt_tokens가 포함되지 않은 순수한 입력 토큰 수 

- cached_prompt_tokens: 캐시된 프롬프트 토큰, 이전에 사용된 프롬프트를 재사용하여 절약된 토큰 수

- completion_tokens: AI가 생성한 응답에 사용된 토큰의 개수, API응답으로 받은 텍스트의 토큰 수

- successful_requests: 성공적으로 완료된 요청 수