AWS Machine Learning Blog· Sai Pavan Kasani·· 2 天前精选AI 评分65
影响 Amazon Bedrock 推理成本的四个参数设置
Four Amazon Bedrock inference choices that affect cost
AI 导读
Amazon Bedrock 官方博客介绍了四种可通过推理请求控制成本的参数：Prompt 缓存 TTL（支持 5 分钟和 1 小时写入，缓存读取价格为输入价格的 0.1 倍）、服务层（Flex 层适用于延迟容忍任务。
推荐理由
原文给出了四种可独立调整的参数及其验证方法，读者可以据此控制推理成本。
来源：AWS Machine Learning Blog · aws.amazon.com