01
Ollaya推出本地决策模型服务,支持在自有硬件上运行,无需依赖远程API。它通过单次前向传递即可给出 calibrated 回答, latency 为 8-10 毫秒,数据完全私有。相较于 TypeSafe 托管 API median 236-276 毫秒,Ollaya 提供与之兼容的 /v1/systemone 接口,官方 Python SDK 0.7.1 版本无缝对接。模型提供方面,Convai Innovations 以 Laya 为代表,以及来自 Mapika 的 deciderDecoder、来自 Moritz Laurer 的 nliZero-shot classifier 等均以开源权重形式分发。运行时采用 ONNX Runtime,支持 CPU 或 NVIDIA GPU(需 R580 及以上驱动),默认监听 127.0.0.1 端口。因为不需要计费机制,用户可按需扩容,同时概率输出经过校准,校准误差降至 0.081(Laya),有助于设定阈值进行自动化决策。对于依赖票据、邮件等敏感信息的企业而言,这意味着数据无需离域,既规避了 API 费用,又降低了隐私泄露风险。















