影响 Amazon Bedrock 推理成本的四个参数设置
Amazon Bedrock 官方博客介绍了四种可通过推理请求控制成本的参数:Prompt 缓存 TTL(支持 5 分钟和 1 小时写入,缓存读取价格为输入价格的 0.1 倍)、服务层(Flex 层适用于延迟容忍任务。
推荐理由:原文给出了四种可独立调整的参数及其验证方法,读者可以据此控制推理成本。
内容类型
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
1 条精选近 30 天 1 条共收录 11 条
Amazon Bedrock 官方博客介绍了四种可通过推理请求控制成本的参数:Prompt 缓存 TTL(支持 5 分钟和 1 小时写入,缓存读取价格为输入价格的 0.1 倍)、服务层(Flex 层适用于延迟容忍任务。
推荐理由:原文给出了四种可独立调整的参数及其验证方法,读者可以据此控制推理成本。