00146 Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API

前言

temperature 和 top_p sampling 能帮助控制文本生成行为。

操作系统：Windows 11 家庭中文版

参考文档

1. Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API

temperature

• 温度是控制GPT-3生成的文本的“创造性”或随机性的参数，较高的温度（例如0.7）导致输出更加多样和有创意，而较低的温度（例如0.2）则使输出更加确定和集中。
• 在实践中，温度影响生成过程的每一步可能tokens的概率分布。温度为0将使模型完全确定，总是选择最可能的标记。

top_p sampling (nucleus sampling)

• Top_p采样是温度采样的替代方法。GPT-3没有考虑所有可能的tokens，而是只考虑累积概率质量达到某个阈值（top_p）的tokens子集（nucleus）。
• 例如，如果top_p设置为0.1，GPT-3将只考虑构成下一个令牌概率质量前10%的tokens。这允许基于上下文的动态词汇选择。

较优值表

温度和top_p采样都是控制GPT-3行为的有力工具，它们可以在进行API调用时独立使用或一起使用。通过调整这些参数，您可以实现不同级别的创造力和控制力，使其适用于广泛的应用。

为了让您了解如何在不同的场景中使用这些参数，这里有一个包含示例值的表：

用例	温度	Top_p	描述
代码生成	0.2	0.1	生成符合既定模式和约定的代码。输出更加确定和集中。用于生成语法正确的代码。
数据分析脚本	0.2	0.1	生成更有可能正确和高效的数据分析脚本。输出更具确定性和针对性。
代码注释生成	0.3	0.2	生成更可能简洁和相关的代码注释。输出更具确定性并遵守约定。
聊天机器人响应	0.5	0.5	生成平衡一致性和多样性的对话响应。输出更加自然和引人入胜。
探索性代码写作	0.6	0.7	生成探索替代解决方案和创造性方法的代码。输出受既定模式的限制较小。
创意写作	0.7	0.8	为讲故事生成创造性和多样化的文本。输出更具探索性，受模式限制更少。

结语

第一百四十六篇博文写完，开心！！！！

今天，也是充满希望的一天。