之前分享过 OpenAI 在 Community Over Code EU 2026 上的两场 Spark 演讲,把两场完整听了一遍,写成了这篇解读文章。
Agent 演讲的起点很具体:一些 Spark 应用的事件日志超过 100 GB,在 History Server 里打开一次可能要等半小时。人偶尔等一次还行,换成 Agent 排查后,每次工具调用都要等同样的加载,就等不起了。
他们的做法是让同一份状态重建得越来越少。History Server 原本要重放事件日志,重建 driver 运行时早就有的状态;后来改成 driver 结束时存一份 snapshot;最后由 driver 里的 listener 把记录实时写进 GreptimeDB,History Server 直接查。原来那个「可能是 OpenAI 最昂贵的 Flink 作业之一」也不再需要了。
湖仓演讲从另一头走到了同一个选择:想按 task 记录指标,每天就新增数百万到数千万条序列;日志、指标和事件又分散在不同系统里,排查时没有好办法关联。我的看法是,这两个其实是一个问题,数据细到有用的程度,两者就会一起出现。
演讲者也说了,直接换到 GreptimeDB 不一定适合所有人。Agent 排查好不好用,还取决于团队有没有把排查经验写成 skill,这一点数据库替代不了。
解读文章(附视频时间点):网页链接