SuperwhisperSuperwhisper
May 1

Add Anthropic prompt caching (cache_control) for Claude API calls

 Hey team,                                                                                           Big fan of v2.13's BYOK Claude integration! Quick request that should be a high-impact, low-effort win:                                                                                                                                                                                                                                                                     **Problem**                                                                                                                                                                                                                                                                                                                                                               My translation prompt is 618 lines / 35KB (custom rules for slang, batch codes, customer rapport, etc.). Every time I trigger SuperWhisper, the full prompt is sent to Claude. Time-to-first-token is noticeably slow on Sonnet 4.6 because of this.                                                                                                                                                                                                                                                                                                                                                                            **Ask**                                        Add `cache_control: { type: "ephemeral" }` to the system prompt block in your Anthropic API call.                                                                                                                                                                                                                                                                                                                                                   **Impact**                                                                                                                                                                                                                                                                                                                                                                - ~90% reduction in input token costs (huge savings on your end since you're the API biller for subscription users)  - 2–3x faster TTFT on cache hits (5-min TTL matches typical dictation cadence perfectly)                                                                                                                                                                                                                                                                                  - Single-line code change in your backend                                                                                                                                                                                                                                                                                                                                 - Anthropic officially recommends this for any system prompt > 1KB                                                                                                                                                                                                                                                                                                                                                                            **Docs:** https://docs.claude.com/en/docs/build-with-claude/prompt-cac…                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          Happy to beta-test on my account. Thanks for building such a great app!            
PendingPending