本文介绍如何借助 numba 加速具有状态依赖性的逐行折叠运算（如 `d[i] = d[i-1] * a[i] + b[i]`），在保持逻辑清晰的同时显著提升大数据量下的计算性能，避免传统 python 循环或 `reduce` 的低效问题。
在 Pandas 中处理具有 递推依赖关系 的列计算（例如当前值依赖前一行结果）时，常见的 apply()、iterrows() 或 functools.reduce() 方法虽逻辑直观，但难以真正向量化，性能随数据规模增长而急剧下降。典型场景如时间序列状态更新、滚动加权累积、信号滤波等——本文示例中的列 D 正是此类“折叠过程”（folding process）：
- D[0] 由初始值（此处为 C[0] = 10.0）设定；
- 对 i ≥ 1，D[i] = D[i-1] * A[i] + B[i]，即每步需复用上一步输出。
遗憾的是，纯 NumPy/Pandas 无法对此类带内部状态的迭代进行完全向量化——因为后续元素的计算严格依赖前序结果，违背了向量化要求的“各元素独立可并行计算”前提。此时，Numba 成为兼顾性能与简洁性的最优解：它通过 JIT 编译将 Python 循环编译为原生机器码，在保留循环语义的同时获得接近 C 语言的速度。
以下为完整实现方案：
import pandas as pd import numpy as np from numba import njit # 构造示例数据 df = pd.DataFrame({'A': [np.nan, 0.5, 0.5, 0.5, 0.5], 'B': [np.nan, 3, 4, 1, 2], 'C': [10, np.nan, np.nan, np.nan, np.nan] }) # 定义 Numba 加速函数 @njit def calculate_fold(A: np.ndarray, B: np.ndarray, start_val: float) -> np.ndarray: """ 执行折叠计算：D[0] = start_val; D[i] = D[i-1] * A[i] + B[i] (i >= 1) 注意：A 和 B 应为一维 float64 数组，且长度一致 """ n = len(A) out = np.empty(n, dtype=np.float64) out[0] = start_val # 首项由初始值确定 # 从索引 1 开始迭代（A[0] 和 B[0] 在本例中为 NaN，不参与计算）for i in range(1, n): # 安全处理 NaN：若 A[i] 或 B[i] 为 NaN，则结果设为 NaN if np.isnan(A[i]) or np.isnan(B[i]): out[i] = np.nan else: out[i] = out[i-1] * A[i] + B[i] return out # 应用计算（自动提取底层 NumPy 数组，规避 Pandas 开销）df["D"] = calculate_fold(df["A"].to_numpy(dtype=np.float64, na_value=np.nan), df["B"].to_numpy(dtype=np.float64, na_value=np.nan), start_val=10.0 ) print(df)输出结果与预期一致：
A B C D 0 NaN NaN 10.0 10.0 1 0.5 3.0 NaN 8.0 2 0.5 4.0 NaN 8.0 3 0.5 1.0 NaN 5.0 4 0.5 2.0 NaN 4.5✅ 关键优势说明：
- 性能跃升：在百万级行数据上，Numba 版本通常比纯 Python 循环快 100–1000 倍，且内存占用更低；
- 类型安全：@njit 强制静态类型，编译时即捕获数组类型 / 维度错误；
- 无缝集成：仅需将 Pandas Series 转为 .to_numpy()，即可直接传入，无需重构数据流。
⚠️ 注意事项：
- 初始值 start_val 必须显式传入（不能从 df[‘C’] 自动提取，因 Numba 函数不支持 Pandas 对象）；若需动态获取（如 df.loc[0, ‘C’]），应在调用前完成提取；
- Numba 不支持 pd.NA 或复杂缺失值逻辑，建议统一用 np.nan 并在函数内显式检查；
- 首次调用会触发编译开销，但后续调用均为原生执行——适合重复计算场景；
- 若逻辑进一步复杂化（如条件分支增多、多状态变量），可扩展为 @njit 的结构体返回，或改用 @guvectorize 实现更高级的向量化模式。
综上，当面对“不可并行但需高频执行”的递推计算时，Numba 并非权宜之计，而是 Pandas 生态中实现 高性能数值折叠 的标准实践路径。
