安装与基础配置

# 以 Linux amd64 为例（版本号请替换为最新稳定版）
VERSION=2.53.0
wget https://github.com/prometheus/prometheus/releases/download/v${VERSION}/prometheus-${VERSION}.linux-amd64.tar.gz
 
tar xzf prometheus-${VERSION}.linux-amd64.tar.gz
cd prometheus-${VERSION}.linux-amd64
ls -l

prometheus            # 主程序（Server）
promtool              # 配置校验 / 规则测试 / TSDB 工具
prometheus.yml        # 默认配置文件
consoles/             # 老式内置控制台模板（基本用不到）
console_libraries/    # 同上
LICENSE  NOTICE

./prometheus --config.file=prometheus.yml

level=info msg="Server is ready to receive web requests."

# 创建无登录权限的专用用户
sudo useradd --no-create-home --shell /sbin/nologin prometheus
 
# 放置二进制
sudo cp prometheus promtool /usr/local/bin/
 
# 准备配置与数据目录
sudo mkdir -p /etc/prometheus /var/lib/prometheus
sudo cp prometheus.yml /etc/prometheus/
sudo chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus

[Unit]
Description=Prometheus Monitoring System
Documentation=https://prometheus.io/docs/
After=network-online.target
 
[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
RestartSec=5s
ExecStart=/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus \
  --storage.tsdb.retention.time=30d \
  --web.listen-address=0.0.0.0:9090 \
  --web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
 
[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now prometheus
sudo systemctl status prometheus
journalctl -u prometheus -f     # 跟踪日志

# 最简：用镜像自带的默认配置，只抓自己
docker run -d \
  --name prometheus \
  -p 9090:9090 \
  prom/prometheus:v2.53.0

# 挂载配置文件 + 持久化数据卷（推荐写法）
docker run -d \
  --name prometheus \
  -p 9090:9090 \
  -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro \
  -v /opt/prometheus/rules:/etc/prometheus/rules:ro \
  -v prometheus-data:/prometheus \
  prom/prometheus:v2.53.0 \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/prometheus \
  --storage.tsdb.retention.time=30d \
  --web.enable-lifecycle

# docker-compose.yml
version: '3.8'
 
services:
  prometheus:
    image: prom/prometheus:v2.53.0
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prometheus-data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--storage.tsdb.retention.time=30d'
      - '--web.enable-lifecycle'
    restart: unless-stopped
 
  node-exporter:
    image: prom/node-exporter:v1.8.1
    container_name: node-exporter
    ports:
      - "9100:9100"
    pid: host
    volumes:
      - /:/host:ro,rslave
    command:
      - '--path.rootfs=/host'
    restart: unless-stopped
 
volumes:
  prometheus-data:

docker compose up -d
docker compose logs -f prometheus

global:            # 全局默认值，所有 job 继承
scrape_configs:    # 抓谁、怎么抓（最核心）
rule_files:        # 从哪些文件加载记录规则与告警规则
alerting:          # 告警发给哪些 Alertmanager
remote_write:      # （可选）把数据同时写到远端长期存储
remote_read:       # （可选）从远端读取历史数据
storage:           # （可选）存储相关的少量选项

# ============ 全局默认 ============
global:
  scrape_interval: 15s          # 默认多久抓一次
  scrape_timeout: 10s           # 单次抓取超时（必须 < scrape_interval）
  evaluation_interval: 15s      # 多久求值一次规则
  external_labels:              # 本实例的身份标识
    cluster: prod-bj
    replica: A
 
# ============ 规则文件 ============
rule_files:
  - "rules/*.yml"               # 支持 glob 通配
 
# ============ Alertmanager ============
alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - 'alertmanager:9093'
 
# ============ 抓取目标 ============
scrape_configs:
  # 1) 自监控：Prometheus 抓自己
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
 
  # 2) 主机监控
  - job_name: 'node'
    scrape_interval: 30s        # 覆盖 global 的 15s
    static_configs:
      - targets:
          - '10.0.0.11:9100'
          - '10.0.0.12:9100'
        labels:
          env: prod
          region: bj
 
  # 3) 应用：自定义指标路径与协议
  - job_name: 'order-service'
    metrics_path: '/actuator/prometheus'   # Spring Boot 的默认路径
    scheme: http
    static_configs:
      - targets: ['10.0.1.5:8080', '10.0.1.6:8080']
 
  # 4) 带认证的目标
  - job_name: 'secured-app'
    basic_auth:
      username: 'prom'
      password_file: '/etc/prometheus/secrets/app_password'
    static_configs:
      - targets: ['10.0.2.7:8443']
    scheme: https
    tls_config:
      insecure_skip_verify: false

15s → 一天 5760 个样本/序列 —— 社区最常用，能捕捉到分钟级波动
30s → 一天 2880 个样本/序列 —— 序列很多时的折中
60s → 一天 1440 个样本/序列 —— 省资源，但会抹平短暂尖峰

global:
  external_labels:
    cluster: prod-bj      # 区分是哪个集群/机房发来的告警
    replica: A            # 区分 HA 副本，供 Thanos/Alertmanager 去重

/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus \
  --storage.tsdb.retention.time=30d \
  --storage.tsdb.retention.size=100GB \
  --web.listen-address=0.0.0.0:9090 \
  --web.external-url=https://prom.example.com \
  --web.enable-lifecycle \
  --log.level=info

--web.listen-address=127.0.0.1:9090

# 校验主配置（会顺带校验 rule_files 里引用的文件）
promtool check config /etc/prometheus/prometheus.yml
 
# 单独校验规则文件
promtool check rules /etc/prometheus/rules/*.yml
 
# 检查某个目标的 /metrics 格式是否合法
curl -s http://localhost:9100/metrics | promtool check metrics

# 方式一：HTTP（需启动时带 --web.enable-lifecycle）
curl -X POST http://localhost:9090/-/reload
 
# 方式二：发信号（systemd 部署时更常用）
sudo systemctl reload prometheus
# 或
kill -HUP $(pidof prometheus)

curl -s http://localhost:9090/metrics | head -20
 
# 看几个关键的自监控指标
curl -s http://localhost:9090/metrics | grep -E '^prometheus_(tsdb_head_series|target|rule_group)'

prometheus_tsdb_head_series              # 当前内存中的活跃序列数（基数监控的核心）
prometheus_tsdb_head_samples_appended_total  # 累计写入的样本数
prometheus_target_interval_length_seconds    # 实际抓取间隔（偏离配置值说明过载）
prometheus_rule_group_last_duration_seconds  # 规则组求值耗时
prometheus_notifications_dropped_total       # 发给 Alertmanager 失败的告警数

connection refused              → 目标端口没监听（服务没起 / 端口写错）
context deadline exceeded       → 抓取超时（目标太慢 或 scrape_timeout 太短）
no such host                    → DNS 解析失败（主机名拼错 / 容器内解析不到）
server returned HTTP status 404 → metrics_path 配错了（比如 Spring Boot 要用 /actuator/prometheus）
server returned HTTP status 401 → 需要认证，配置里缺 basic_auth / bearer_token
i/o timeout                     → 网络不通（防火墙 / 安全组挡了）

# 1) 所有目标的健康状态（最该先看的）
up
 
# 2) Prometheus 自己的活跃序列数
prometheus_tsdb_head_series
 
# 3) 主机 1 分钟负载（需要 node_exporter）
node_load1
 
# 4) 各实例内存使用率
100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)
 
# 5) Prometheus 自身的样本写入速率
rate(prometheus_tsdb_head_samples_appended_total[5m])

/targets      抓取目标状态（最常用）
/rules        已加载的规则及其上次求值结果
/alerts       当前 Pending / Firing 的告警
/config       当前生效的完整配置（确认热加载是否真的生效了）
/service-discovery  服务发现的原始结果与 relabel 前后对比
/tsdb-status  TSDB 状态：序列数、基数 Top10（排查基数问题的利器）
/flags        当前生效的命令行参数

ls -l /var/lib/prometheus/

/var/lib/prometheus/
├── 01HQXYZ8K3MNPQRSTVWXYZ0123/    ← 持久化 block（ULID 命名，按时间排序）
│   ├── chunks/
│   │   └── 000001                 ← 压缩后的样本数据（每个文件最大 512MB）
│   ├── index                      ← 倒排索引：标签 → 序列 ID
│   ├── meta.json                  ← 元信息：时间范围、样本数、压实层级
│   └── tombstones                 ← 删除标记（删数据不改原文件，只记标记）
├── 01HQXYZ9M4NPQRSTVWXYZ4567/    ← 另一个 block
│   └── ...
├── chunks_head/                    ← Head block 中已切分但尚未持久化的 chunk
│   └── 000001
├── wal/                            ← 预写日志：崩溃恢复的保障
│   ├── 00000042
│   ├── 00000043
│   └── checkpoint.00000041/        ← 检查点，压缩已过期的 WAL 段
├── queries.active                  ← 正在执行的查询（崩溃后可查是谁压垮了它）
└── lock                            ← 目录锁，防止两个进程同时写

磁盘用量 ≈ 序列数 × (保留天数 × 86400 / 抓取间隔秒数) × 每样本字节数

100,000 × (30 × 86400 / 15) × 1.5 B
= 100,000 × 172,800 × 1.5 B
≈ 25.9 GB