抓取配置与 Exporter

1. 服务发现（static_configs / file_sd / kubernetes_sd ...）
   产出一批「候选目标」，每个目标自带一组标签，
   包括 __address__、__scheme__、__metrics_path__、__param_* 和一堆 __meta_* 元数据
        到
2. relabel_configs 逐条执行
   可以改写 __address__、丢弃目标、把 __meta_* 变成正式标签
        到
3. 目标定型
   所有以双下划线开头的标签被丢弃；
   若此时没有 instance 标签，就用 __address__ 的值填进去
        到
4. 发起 HTTP 请求
   URL = scheme://__address__ + __metrics_path__ + 由 __param_* 拼出的查询串
        到
5. 解析响应体，得到一批样本
        到
6. metric_relabel_configs 逐条执行（作用在「样本」上，不是「目标」上）
        到
7. 写入 TSDB，并额外附加 up、scrape_duration_seconds 等自监控指标

scrape_configs:
  - job_name: 'order-service'        # 必填，且全局唯一；会成为 job 标签的值
 
    # ---- 频率与超时 ----
    scrape_interval: 15s             # 不写则继承 global.scrape_interval
    scrape_timeout: 10s              # 不写则继承 global.scrape_timeout
 
    # ---- 请求怎么拼 ----
    metrics_path: '/actuator/prometheus'   # 默认 /metrics
    scheme: https                          # 默认 http，可选 http / https
    params:                                # 附加查询参数，值必须是「数组」
      module: [http_2xx]
      collect: [cpu, mem]
 
    # ---- 认证 ----
    basic_auth:
      username: 'prom'
      password_file: '/etc/prometheus/secrets/app_pass'
 
    # ---- TLS ----
    tls_config:
      ca_file: '/etc/prometheus/certs/ca.crt'
      server_name: 'order.internal'
      insecure_skip_verify: false
 
    # ---- 保护性上限 ----
    sample_limit: 50000              # 单次抓取样本数上限，超了整次抓取失败
    label_limit: 30                  # 单条序列标签数上限
    body_size_limit: 20MB            # 响应体大小上限
    target_limit: 200                # 本 job 目标数上限
 
    # ---- 标签行为 ----
    honor_labels: false              # 默认 false，见下文
    honor_timestamps: true           # 默认 true
 
    # ---- 目标从哪来 ----
    static_configs:
      - targets:
          - '10.0.1.5:8443'
          - '10.0.1.6:8443'
        labels:
          env: prod
          team: trade
 
    # ---- 抓取前改写目标 ----
    relabel_configs: []
 
    # ---- 抓取后过滤指标 ----
    metric_relabel_configs: []

- job_name: 'node'
  static_configs:
    - targets: ['10.0.0.11:9100', '10.0.0.12:9100']
      labels:
        env: prod
        region: bj
    - targets: ['10.0.9.31:9100']
      labels:
        env: staging
        region: sh

# 正确
params:
  module: [http_2xx]
  target: ['https://example.com']
 
# 错误：会报 "cannot unmarshal !!str into []string"
params:
  module: http_2xx

basic_auth:
  username: 'prom'
  password: 'plaintext-not-recommended'
  # 或者（推荐）
  password_file: '/etc/prometheus/secrets/app_pass'

authorization:
  type: Bearer                                   # 默认就是 Bearer，可省略
  credentials_file: /var/run/secrets/token

scheme: https
tls_config:
  ca_file: /etc/prometheus/certs/ca.crt      # 用私有 CA 验证服务端证书
  cert_file: /etc/prometheus/certs/prom.crt  # 双向 TLS 时的客户端证书
  key_file: /etc/prometheus/certs/prom.key
  server_name: order.internal                # SNI 与证书域名校验用的名字
  insecure_skip_verify: false                # 跳过证书校验（仅调试用）

- job_name: 'third-party-app'
  sample_limit: 20000
  body_size_limit: 10MB
  static_configs:
    - targets: ['10.0.3.9:8080']

relabel_configs:
  # 只保留 env 标签为 prod 的目标，其余全部丢弃
  - source_labels: [env]
    regex: 'prod'
    action: keep
 
  # 把 __address__ 里的端口去掉，写入一个新标签 host
  - source_labels: [__address__]
    regex: '([^:]+):.*'
    target_label: host
    replacement: '$1'

up{job="node", instance="10.0.0.11:9100"}         # 1 = 抓取成功，0 = 失败
scrape_duration_seconds                            # 本次抓取耗时（秒）
scrape_samples_scraped                             # 目标返回了多少条样本
scrape_samples_post_metric_relabeling              # 经过 metric_relabel 过滤后剩多少条
scrape_series_added                                # 本次新增了多少条「新序列」

# 谁在拖慢抓取？
topk(10, scrape_duration_seconds)
 
# 谁的指标量最大？（找基数大户）
topk(10, scrape_samples_scraped)
 
# metric_relabel 到底过滤掉了多少？
scrape_samples_scraped - scrape_samples_post_metric_relabeling
 
# 哪个目标在不停「造」新序列？（基数爆炸的早期信号）
topk(10, scrape_series_added)

HTTP GET /metrics 打到 Exporter
        到
Exporter 现场去读数据源
  （读 /proc 文件、执行 SHOW GLOBAL STATUS、调用 INFO 命令、请求某个 HTTP API……）
        到
把结果转换成 Prometheus 文本格式返回
        到
Prometheus 解析并写库

VERSION=1.8.2
wget https://github.com/prometheus/node_exporter/releases/download/v${VERSION}/node_exporter-${VERSION}.linux-amd64.tar.gz
tar xzf node_exporter-${VERSION}.linux-amd64.tar.gz
cd node_exporter-${VERSION}.linux-amd64
 
# 前台跑一下试试
./node_exporter --web.listen-address=:9100
 
# 另开一个终端验证
curl -s http://localhost:9100/metrics | head -20

[Unit]
Description=Prometheus Node Exporter
After=network-online.target
 
[Service]
User=node_exporter
Group=node_exporter
Type=simple
Restart=on-failure
ExecStart=/usr/local/bin/node_exporter \
  --web.listen-address=127.0.0.1:9100 \
  --collector.textfile.directory=/var/lib/node_exporter/textfile_collector \
  --no-collector.mdadm \
  --no-collector.infiniband
 
[Install]
WantedBy=multi-user.target

# 关掉某个默认开启的 collector
--no-collector.mdadm
 
# 打开某个默认关闭的 collector
--collector.systemd
--collector.processes
 
# 极端做法：先全关，再只开需要的
--collector.disable-defaults \
  --collector.cpu --collector.meminfo --collector.filesystem --collector.loadavg

# CPU 使用率（100% 减去空闲占比）
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
 
# 内存使用率（用 MemAvailable，比 MemFree 准确得多）
100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)
 
# 根分区剩余空间百分比
100 * node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}
 
# 磁盘 IO 饱和度（io_time 占比接近 1 说明磁盘打满）
rate(node_disk_io_time_seconds_total[5m])
 
# 网卡入向流量（字节每秒）
rate(node_network_receive_bytes_total{device!~"lo|veth.*"}[5m])
 
# 主机运行时长
node_time_seconds - node_boot_time_seconds

node_exporter --collector.textfile.directory=/var/lib/node_exporter/textfile_collector

#!/bin/bash
set -euo pipefail
 
TEXTFILE_DIR=/var/lib/node_exporter/textfile_collector
TMP="$TEXTFILE_DIR/backup.prom.$$"
 
# 假设备份脚本会写一个成功标记文件
if [ -f /var/backups/.last_success ]; then
  TS=$(stat -c %Y /var/backups/.last_success)
  SIZE=$(du -sb /var/backups | cut -f1)
else
  TS=0
  SIZE=0
fi
 
cat > "$TMP" <<EOF
# HELP backup_last_success_timestamp_seconds 上次备份成功的 Unix 时间戳
# TYPE backup_last_success_timestamp_seconds gauge
backup_last_success_timestamp_seconds $TS
# HELP backup_size_bytes 备份目录总大小
# TYPE backup_size_bytes gauge
backup_size_bytes $SIZE
EOF
 
# 关键：原子替换
mv "$TMP" "$TEXTFILE_DIR/backup.prom"

*/5 * * * * /usr/local/bin/collect_backup_metrics.sh

# 备份超过 26 小时没成功
time() - backup_last_success_timestamp_seconds > 26 * 3600

- job_name: 'blackbox-http'
  metrics_path: /probe
  params:
    module: [http_2xx]          # 用 blackbox.yml 里定义的哪个模块
  static_configs:
    - targets:
        - https://api.example.com/health
        - https://www.example.com
  relabel_configs:
    # 1) 把要探测的 URL 从 __address__ 挪到查询参数 target
    - source_labels: [__address__]
      target_label: __param_target
    # 2) 让 instance 标签显示被探测的 URL，而不是 exporter 的地址
    - source_labels: [__param_target]
      target_label: instance
    # 3) 真正要请求的地址改成 blackbox_exporter 自己
    - target_label: __address__
      replacement: 'blackbox-exporter:9115'

http://blackbox-exporter:9115/probe?module=http_2xx&target=https://api.example.com/health

modules:
  http_2xx:
    prober: http
    timeout: 5s
    http:
      valid_status_codes: [200, 204]
      method: GET
      preferred_ip_protocol: ip4
      fail_if_body_not_matches_regexp:
        - '"status"\s*:\s*"ok"'
  tcp_connect:
    prober: tcp
    timeout: 5s
  icmp_ping:
    prober: icmp

probe_success                     # 1 成功 0 失败，最重要的一条
probe_duration_seconds            # 整次探测总耗时
probe_http_status_code            # 实际返回的状态码
probe_ssl_earliest_cert_expiry    # 证书最早过期时间（Unix 时间戳）
probe_dns_lookup_time_seconds     # DNS 解析耗时
 
# 证书 15 天内过期告警
(probe_ssl_earliest_cert_expiry - time()) / 86400 < 15

1. 引入 client_golang，定义指标（Gauge / Counter / Histogram）
2. 实现 Collector 接口的 Describe 与 Collect 两个方法，
   在 Collect 里现场去数据源取数、填充指标
3. 用 prometheus.MustRegister 注册
4. 用 promhttp.Handler() 挂在 /metrics 上，ListenAndServe

# 启动（默认端口 9091，加持久化文件防止重启丢数据）
./pushgateway --persistence.file=/var/lib/pushgateway/data
 
# 推送一条指标：URL 路径就是标签
echo "batch_job_duration_seconds 42.3" | \
  curl --data-binary @- http://pushgateway:9091/metrics/job/nightly_etl/instance/worker-1
 
# 推送多条（注意末尾必须有换行，否则报 400）
cat <<EOF | curl --data-binary @- http://pushgateway:9091/metrics/job/nightly_etl
# TYPE batch_job_last_success_timestamp_seconds gauge
batch_job_last_success_timestamp_seconds 1735689600
# TYPE batch_job_records_processed gauge
batch_job_records_processed 128394
EOF
 
# 删除某个 job 的全部指标（任务下线时务必调用）
curl -X DELETE http://pushgateway:9091/metrics/job/nightly_etl

- job_name: 'pushgateway'
  honor_labels: true          # 必须！否则推上来的 job 标签会被改名成 exported_job
  static_configs:
    - targets: ['pushgateway:9091']

#!/bin/bash
JOB=nightly_etl
PGW=http://pushgateway:9091/metrics/job/$JOB
 
START=$(date +%s)
if /usr/local/bin/run_etl.sh; then
  SUCCESS=1
else
  SUCCESS=0
fi
END=$(date +%s)
 
cat <<EOF | curl --data-binary @- "$PGW"
# TYPE etl_last_run_timestamp_seconds gauge
etl_last_run_timestamp_seconds $END
# TYPE etl_duration_seconds gauge
etl_duration_seconds $((END - START))
# TYPE etl_last_success gauge
etl_last_success $SUCCESS
EOF

# ETL 昨晚没跑成功
etl_last_success == 0
 
# ETL 超过 25 小时没跑过（比「失败」更隐蔽，也更危险）
time() - etl_last_run_timestamp_seconds > 25 * 3600