所有文章 - 思绪成林https://blog.bynshard.top/posts/所有文章 | 思绪成林Hugo -- gohugo.iozh-CNzhangbingshuai.cn@gmail.com (bynshard)zhangbingshuai.cn@gmail.com (bynshard)This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sun, 12 Apr 2026 17:37:24 +0800IEEE 754 浮点数标准（以 FP32 为例）https://blog.bynshard.top/2026/04/float-standard-z1dtnxb/Sun, 12 Apr 2026 17:37:24 +0800zhangbingshuai.cn@gmail.com (bynshard)https://blog.bynshard.top/2026/04/float-standard-z1dtnxb/这篇文章主要记录一下 IEEE 754 的 float 标准，以最常见的 FP32（single precision） 为例。

FP32 一共由 32 位组成：

  • 1 位符号位（sign）
  • 8 位指数位（exponent）
  • 23 位尾数位（fraction）

可以表示为：

]]>ORCA论文阅读https://blog.bynshard.top/2025/05/orca-paper-reading-zlf9q9/Fri, 09 May 2025 15:41:01 +0800zhangbingshuai.cn@gmail.com (bynshard)https://blog.bynshard.top/2025/05/orca-paper-reading-zlf9q9/现阶段有什么问题：

之前的推理引擎在处理基于transform模型decode的时候存在局限

  1. 由于语言模型的自回归特性，每次模型的输出作为模型的输入再次执行模型，导致输出多少个token，就需要运行多少次模型，并且这个运行多少次模型是不确定的

    ]]>