LLM 入门 API-06|Anthropic Messages API 的内容块与事件 llm LLM 入门 API-06|Anthropic Messages API 的内容块与事件 有更新! 从 Anthropic 的原始 HTTP 请求出发,观察顶层系统指令、普通文字块、工具提议和工具结果。沿用退款统计函数重建流式参数并对照 OpenAI 的消息形状... 0 评论 0 浏览
LLM 入门 API-07|模型协议适配与能力矩阵 llm LLM 入门 API-07|模型协议适配与能力矩阵 有更新! 用同一个退款报告接入 OpenAI Responses 与 Anthropic Messages,设计应用读取的文本、工具、用量和错误类型。通过最小代码核对图片和... 0 评论 0 浏览
LLM 入门 API-08|实时语音 Agent 的双向流 llm LLM 入门 API-08|实时语音 Agent 的双向流 有更新! 用一句退款报告追踪浏览器麦克风采集、WebRTC 和 WebSocket 双向传输、语音活动检测以及播放队列。再用浏览器中的合成音测一次打断,观察已播时长、停止回... 0 评论 0 浏览
LLM 入门 F-12|推理时计算与 Reasoning 模型怎样比较? llm LLM 入门 F-12|推理时计算与 Reasoning 模型怎样比较? 有更新! 以四道退款汇总题为固定样本,区分逐 Token 解码、服务端推理强度和应用层多次采样。用同一套评分脚本比较正确率、Token 用量、延迟和输出预算触顶率,并提供可... 0 评论 0 浏览
LLM 入门 F-11|GRPO 怎样用同组答案的奖励更新模型? llm LLM 入门 F-11|GRPO 怎样用同组答案的奖励更新模型? 有更新! 拿同一条退款统计题的四个答案,逐项检查奖励、计算组内平均与标准差,再做一次简化的策略更新。看清优势、旧策略、概率比率和参考模型的分工,并用满分同组与弱校验说明评测... 0 评论 0 浏览
LLM 入门 F-10|模型从预训练到会按要求回答 llm LLM 入门 F-10|模型从预训练到会按要求回答 有更新! 用同一条退款统计请求,对照原始文本、示范答案、偏好对和可验证奖励分别提供什么训练信号。通过一个小实验手算下一 Token 损失和回答遮罩,再解释全量微调与 LoR... 0 评论 0 浏览
LLM 入门 F-09|多模态请求如何进入模型? llm LLM 入门 F-09|多模态请求如何进入模型? 有更新! 用一张带蓝色单元格的报表截图,追踪图文消息、像素小块、视觉向量和语言模型的输入位置。实测同一问题在纯文本和两种图像尺寸下占用多少位置,再用小模型验证图文输入如何汇... 0 评论 0 浏览
LLM 入门 F-08|模型精度与量化:权重怎样缩到 4 位? llm LLM 入门 F-08|模型精度与量化:权重怎样缩到 4 位? 有更新! 从报表模型的一次点积出发,手算比例因子、整数编码、恢复误差和低比特打包。比较 FP16、BF16、INT8、INT4,区分权重量化与键值缓存量化,再看 GPTQ、... 0 评论 0 浏览
LLM 入门 F-07|TTFT、TPOT、ITL 与吞吐怎样量? llm LLM 入门 F-07|TTFT、TPOT、ITL 与吞吐怎样量? 有更新! 把一次固定长度的报表请求拆成排队、模型首个输出、服务发出文本和页面呈现。用逐事件时钟手算首 Token 延迟、逐 Token 间隔与请求耗时,再对比排队增加和页面... 0 评论 0 浏览
LLM 入门 F-14|FlashAttention 如何减少注意力的显存读写? llm LLM 入门 F-14|FlashAttention 如何减少注意力的显存读写? 有更新! 从一行注意力分数手算整行与分块 Softmax,理解 FlashAttention 为什么能保留数学结果,又少搬运完整的分数矩阵。文章给出 CPU 数值对照及可选... 0 评论 0 浏览