AI
一个案例
tokenizer 说明
加载数据集
DatasetDict 类
logits 说明
langchain（一）
关键词提取
RAG与向量检索
RAG与向量检索（二）
TF-IDF 算法
本文档使用 MrDoc 发布
-
+
首页
logits 说明
### 什么是logits 在机器学习和深度学习领域，尤其是在分类任务中，`logits通常指的是模型最后一层输出之前的原始预测值`，即`未经过softmax或sigmoid激活函数转换的值`。Logits可以被看作是模型对每个类别的`信心`程度，其值可以是任何实数，`不限于0到1之间`。 ### 为什么使用logits？ 使用logits而非直接的概率输出有几个原因： - 数值稳定性：直接计算概率（例如，通过softmax函数）可能会导致数值问题，特别是当logits的值非常大或非常小的时候。计算损失函数（如交叉熵损失）时，直接使用logits可以提高数值稳定性； - 效率：在训练过程中，将softmax或sigmoid的计算与损失计算结合起来，可以避免不必要的计算步骤，从而提高训练效率。许多深度学习框架提供了可以直接接受logits作为输入的损失计算函数，如`PyTorch`的`nn.CrossEntropyLoss`和`TensorFlow`的`tf.nn.softmax_cross_entropy_with_logits`； - 灵活性：保留原始logits允许模型输出可以被用于多种不同的后处理步骤和分析，比如计算不同类型的概率分布、执行温度缩放等； ### Logits与概率 - 对于二分类问题，logits通常通过sigmoid函数转换为概率 `p=sigmod(logit)`； - 对于多分类问题，logits通过softmax函数转换为概率分布 `p=softmax(logits)`； 假设一个三分类问题的模型输出`logits=[2.0, 1.0, 0.1]`，通过softmax函数转换后，我们可以得到每个类别的概率，这些概率总和为1，反映了模型对每个类别的预测`信心`。
gaojian
2024年4月2日 20:05
分享文档
收藏文档
上一篇
下一篇
微信扫一扫
复制链接
手机扫一扫进行分享
复制链接
关于 MrDoc
觅思文档MrDoc
是
州的先生
开发并开源的在线文档系统，其适合作为个人和小型团队的云笔记、文档和知识库管理工具。
如果觅思文档给你或你的团队带来了帮助，欢迎对作者进行一些打赏捐助，这将有力支持作者持续投入精力更新和维护觅思文档，感谢你的捐助！
>>>捐助鸣谢列表
微信
支付宝
QQ
PayPal
Markdown文件
分享
链接
类型
密码
更新密码
