影响 Amazon Bedrock 推理成本的四个参数设置
Amazon Bedrock 官方博客介绍了四种可通过推理请求控制成本的参数:Prompt 缓存 TTL(支持 5 分钟和 1 小时写入,缓存读取价格为输入价格的 0.1 倍)、服务层(Flex 层适用于延迟容忍任务。
推荐理由:原文给出了四种可独立调整的参数及其验证方法,读者可以据此控制推理成本。
技术方向
让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。
1 条精选近 30 天 1 条共收录 3 条
Amazon Bedrock 官方博客介绍了四种可通过推理请求控制成本的参数:Prompt 缓存 TTL(支持 5 分钟和 1 小时写入,缓存读取价格为输入价格的 0.1 倍)、服务层(Flex 层适用于延迟容忍任务。
推荐理由:原文给出了四种可独立调整的参数及其验证方法,读者可以据此控制推理成本。