Databuff
GitHub
Skip to content

中文  |  English

遥测数据流与存储

建议先读本文,再深入 应用性能日志分析 等模块设计。

DataBuff 通过 OpenTelemetry OTLP 接收遥测数据,经 Ingest 写入 Apache Doris,由 Web 提供查询、拓扑、告警与 AI 诊断。

总览

三种信号

信号典型来源Ingest 处理Doris 存储(示例)Web 能力
TraceOTel SDK、Java AgentSpan 组装、服务元数据trace_dc_span调用链、拓扑、火焰图
MetricsOTel metrics、JVM/HTTP 等分钟级聚合metric_service*服务指标、仪表盘
LogsOTel logs exporter解析 OTLP log recordslog_dc_record日志检索、Trace 关联

接入配置见 OpenTelemetry OTLP 接入

Trace / Metric / Log 如何关联

  • Trace ↔ Log:日志记录可携带 trace_id / span_id(OTel 语义约定);在 Trace 详情中可关联查看同 trace 的日志行。
  • Trace ↔ Metric:Ingest 从 Span 派生服务级、接口级分钟指标,与 Trace 共享 service / instance 维度。
  • 统一查询面:Web 按服务、时间范围聚合三类数据;AI 诊断以 Trace 与指标为上下文,逐步纳入日志。

组件职责

组件职责
IngestOTLP 接入、Trace 二次处理、指标聚合、Stream Load 写 Doris
Doris列存与时序查询;Trace 表按天动态分区(默认保留约 30 天)
WebREST API、前端、告警引擎、AI 平台与 MCP

Docker 默认四容器:Doris FE/BE、ingest、web。详见 Docker 运维参考

进一步阅读