遥测数据流与存储
DataBuff 通过 OpenTelemetry OTLP 接收遥测数据,经 Ingest 写入 Apache Doris,由 Web 提供查询、拓扑、告警与 AI 诊断。
总览
三种信号
| 信号 | 典型来源 | Ingest 处理 | Doris 存储(示例) | Web 能力 |
|---|---|---|---|---|
| Trace | OTel SDK、Java Agent | Span 组装、服务元数据 | trace_dc_span | 调用链、拓扑、火焰图 |
| Metrics | OTel metrics、JVM/HTTP 等 | 分钟级聚合 | metric_service* 等 | 服务指标、仪表盘 |
| Logs | OTel logs exporter | 解析 OTLP log records | log_dc_record | 日志检索、Trace 关联 |
接入配置见 OpenTelemetry OTLP 接入。
Trace / Metric / Log 如何关联
- Trace ↔ Log:日志记录可携带
trace_id/span_id(OTel 语义约定);在 Trace 详情中可关联查看同 trace 的日志行。 - Trace ↔ Metric:Ingest 从 Span 派生服务级、接口级分钟指标,与 Trace 共享
service/instance维度。 - 统一查询面:Web 按服务、时间范围聚合三类数据;AI 诊断以 Trace 与指标为上下文,逐步纳入日志。
组件职责
| 组件 | 职责 |
|---|---|
| Ingest | OTLP 接入、Trace 二次处理、指标聚合、Stream Load 写 Doris |
| Doris | 列存与时序查询;Trace 表按天动态分区(默认保留约 30 天) |
| Web | REST API、前端、告警引擎、AI 平台与 MCP |
Docker 默认四容器:Doris FE/BE、ingest、web。详见 Docker 运维参考。
进一步阅读
- 架构设计 · 应用性能 — APM 链路细节
- 架构设计 · 日志分析 — Logs 存储与查询设计
- 架构设计 · AI 平台 — AI 如何使用观测数据