프롬프트 캐싱
prompt caching · 캐시 적중률 · 캐시된 입력
반복되는 프롬프트 앞부분의 계산을 저장해 이후 요청에서 재사용하는 기능입니다. 시스템 지침이나 도구 설명처럼 바뀌지 않는 입력이 대상이 될 수 있습니다. 최종 답변 자체의 재사용과는 다르며, 일치 조건·유효 시간·쓰기와 읽기 요금은 제공자와 모델에 따라 확인해야 합니다.
prompt caching · 캐시 적중률 · 캐시된 입력
반복되는 프롬프트 앞부분의 계산을 저장해 이후 요청에서 재사용하는 기능입니다. 시스템 지침이나 도구 설명처럼 바뀌지 않는 입력이 대상이 될 수 있습니다. 최종 답변 자체의 재사용과는 다르며, 일치 조건·유효 시간·쓰기와 읽기 요금은 제공자와 모델에 따라 확인해야 합니다.
오픈AI가 9월 23일 ChatGPT 음성에 플러그인을 붙이고 웹·모바일 Work에서도 음성을 열었습니다. 승인이 필요한 행동은 말로 못 하고 화면에서 누릅니다. 하루 앞선 캐싱 개선은 30분 안에 다시 보낸 같은 입력을 최대 90% 할인합니다.
앤트로픽이 9월 8일 Claude 비용을 성능 손해 없이 줄이는 방법을 공개했습니다. 단가가 같은 Opus 4.8과 Opus 5 사이에서도 옛 프롬프트를 그대로 쓰자 티켓당 비용이 36% 올랐고, 29CM는 같은 캐시 원칙으로 LLM 비용을 64% 줄였습니다.
오픈AI가 9월 23일 ChatGPT 음성에 플러그인을 붙이고 웹·모바일 Work에서도 음성을 열었습니다. 승인이 필요한 행동은 말로 못 하고 화면에서 누릅니다. 하루 앞선 캐싱 개선은 30분 안에 다시 보낸 같은 입력을 최대 90% 할인합니다.
앤트로픽이 9월 8일 Claude 비용을 성능 손해 없이 줄이는 방법을 공개했습니다. 단가가 같은 Opus 4.8과 Opus 5 사이에서도 옛 프롬프트를 그대로 쓰자 티켓당 비용이 36% 올랐고, 29CM는 같은 캐시 원칙으로 LLM 비용을 64% 줄였습니다.
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
