monitoring on 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang|云原生

使用 Prometheus-Operator 监控 Calico

yangchuansheng33@gmail.com (米开朗基杨) — Fri, 26 Jun 2020 17:40:15 +0800

Calico 中最核心的组件就是 Felix，它负责设置路由表和 ACL 规则等，以便为该主机上的 endpoints 资源正常运行提供所需的网络连接。同时它还负责提供有关网络健康状况的数据（例如，报告配置其主机时发生的错误和问题），这些数据会被写入 etcd，以使其对网络中的其他组件和操作人员可见。

由此可见，对于我们的监控来说，监控 Calico 的核心便是监控 Felix，Felix 就相当于 Calico 的大脑。本文将学习如何使用 Prometheus-Operator 来监控 Calico。

本文不会涉及到 Calico 和 Prometheus-Operator 的部署细节，如果不知道如何部署，请查阅官方文档和相关博客。

1. 配置 Calico 以启用指标

默认情况下 Felix 的指标是被禁用的，必须通过命令行管理工具 calicoctl 手动更改 Felix 配置才能开启，需要提前配置好命令行管理工具。

本文使用的 Calico 版本是 v3.15.0，其他版本类似。先下载管理工具：

$ wget https://github.com/projectcalico/calicoctl/releases/download/v3.15.0/calicoctl -O /usr/local/bin/calicoctl
$ chmod +x /usr/local/bin/calicoctl

接下来需要设置 calicoctl 配置文件（默认是 /etc/calico/calicoctl.cfg）。如果你的 Calico 后端存储使用的是 Kubernetes API，那么配置文件内容如下：

apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
  datastoreType: "kubernetes"
  kubeconfig: "/root/.kube/config"

如果 Calico 后端存储使用的是 etcd，那么配置文件内容如下：

apiVersion: projectcalico.org/v3
kind: CalicoAPIConfig
metadata:
spec:
  datastoreType: "etcdv3"
  etcdEndpoints: https://192.168.57.51:2379,https://192.168.57.52:2379,https://192.168.57.53:2379
  etcdKeyFile: /opt/kubernetes/ssl/server-key.pem
  etcdCertFile: /opt/kubernetes/ssl/server.pem
  etcdCACertFile: /opt/kubernetes/ssl/ca.pem

你需要将其中的证书路径换成你的 etcd 证书路径。

配置好了 calicoctl 之后就可以查看或修改 Calico 的配置了，先来看一下默认的 Felix 配置：

$ calicoctl get felixConfiguration default -o yaml

apiVersion: projectcalico.org/v3
kind: FelixConfiguration
metadata:
  creationTimestamp: "2020-06-25T14:37:28Z"
  name: default
  resourceVersion: "269031"
  uid: 52146c95-ff97-40a9-9ba7-7c3b4dd3ba57
spec:
  bpfLogLevel: ""
  ipipEnabled: true
  logSeverityScreen: Info
  reportingInterval: 0s

可以看到默认的配置中没有启用指标，需要手动修改配置，命令如下：

$ calicoctl patch felixConfiguration default  --patch '{"spec":{"prometheusMetricsEnabled": true}}'

Felix 暴露指标的端口是 9091，可通过检查监听端口来验证是否开启指标：

$ ss -tulnp|grep 9091
tcp    LISTEN     0      4096   [::]:9091               [::]:*                   users:(("calico-node",pid=13761,fd=9))

$ curl -s http://localhost:9091/metrics
# HELP felix_active_local_endpoints Number of active endpoints on this host.
# TYPE felix_active_local_endpoints gauge
felix_active_local_endpoints 1
# HELP felix_active_local_policies Number of active policies on this host.
# TYPE felix_active_local_policies gauge
felix_active_local_policies 0
# HELP felix_active_local_selectors Number of active selectors on this host.
# TYPE felix_active_local_selectors gauge
felix_active_local_selectors 0
...

2. Prometheus 采集 Felix 指标

启用了 Felix 的指标后，就可以通过 Prometheus-Operator 来采集指标数据了。Prometheus-Operator 在部署时会创建 Prometheus、PodMonitor、ServiceMonitor、AlertManager 和 PrometheusRule 这 5 个 CRD 资源对象，然后会一直监控并维持这 5 个资源对象的状态。其中 Prometheus 这个资源对象就是对 Prometheus Server 的抽象。而 PodMonitor 和 ServiceMonitor 就是 exporter 的各种抽象，是用来提供专门提供指标数据接口的工具，Prometheus 就是通过 PodMonitor 和 ServiceMonitor 提供的指标数据接口去 pull 数据的。

ServiceMonitor 要求被监控的服务必须有对应的 Service，而 PodMonitor 则不需要，本文选择使用 PodMonitor 来采集 Felix 的指标。

PodMonitor 虽然不需要应用创建相应的 Service，但必须在 Pod 中指定指标的端口和名称，因此需要先修改 DaemonSet calico-node 的配置，指定端口和名称。先用以下命令打开 DaemonSet calico-node 的配置：

$ kubectl -n kube-system edit ds calico-node

然后在线修改，在 spec.template.sepc.containers 中加入以下内容：

        ports:
        - containerPort: 9091
          name: http-metrics
          protocol: TCP

创建 Pod 对应的 PodMonitor：

# prometheus-podMonitorCalico.yaml
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  labels:
    k8s-app: calico-node
  name: felix
  namespace: monitoring
spec:
  podMetricsEndpoints:
  - interval: 15s
    path: /metrics
    port: http-metrics
  namespaceSelector:
    matchNames:
    - kube-system
  selector:
    matchLabels:
      k8s-app: calico-node

$ kubectl apply -f prometheus-podMonitorCalico.yaml

有几个参数需要注意：

PodMonitor 的 name 最终会反应到 Prometheus 的配置中，作为 job_name。
podMetricsEndpoints.port 需要和被监控的 Pod 中的 ports.name 相同，此处为 http-metrics。
namespaceSelector.matchNames 需要和被监控的 Pod 所在的 namespace 相同，此处为 kube-system。
selector.matchLabels 的标签必须和被监控的 Pod 中能唯一标明身份的标签对应。

最终 Prometheus-Operator 会根据 PodMonitor 来修改 Prometheus 的配置文件，以实现对相关的 Pod 进行监控。可以打开 Prometheus 的 UI 查看监控目标：

注意 Labels 中有 pod="calico-node-xxx"，表明监控的是 Pod。

3. 可视化监控指标

采集完指标之后，就可以通过 Grafana 的仪表盘来展示监控指标了。Prometheus-Operator 中部署的 Grafana 无法实时修改仪表盘的配置（必须提前将仪表盘的 json 文件挂载到 Grafana Pod 中），而且也不是最新版（7.0 以上版本），所以我选择删除 Prometheus-Operator 自带的 Grafana，自行部署 helm 仓库中的 Grafana。先进入 kube-prometheus 项目的 manifests 目录，然后将 Grafana 相关的部署清单都移到同一个目录下，再删除 Grafana：

$ cd kube-prometheus/manifests
$ mkdir grafana
$ mv grafana-* grafana/
$ kubectl delete -f grafana/

然后通过 helm 部署最新的 Grafana：

$ helm install grafana stable/grafana -n monitoring

访问 Grafana 的密码保存在 Secret 中，可以通过以下命令查看：

$ kubectl -n monitoring get secret grafana -o yaml

apiVersion: v1
data:
  admin-password: MnpoV3VaMGd1b3R3TDY5d3JwOXlIak4yZ3B2cTU1RFNKcVY0RWZsUw==
  admin-user: YWRtaW4=
  ldap-toml: ""
kind: Secret
metadata:
...

对密码进行解密：

$ echo -n "MnpoV3VaMGd1b3R3TDY5d3JwOXlIak4yZ3B2cTU1RFNKcVY0RWZsUw=="|base64 -d

解密出来的信息就是访问密码。用户名是 admin。通过用户名和密码登录 Grafana 的 UI：

添加 Prometheus-Operator 的数据源：

Calico 官方没有单独 dashboard json，而是将其放到了 ConfigMap 中，我们需要从中提取需要的 json，提取出 felix-dashboard.json 的内容，然后将其中的 datasource 值替换为 prometheus。你可以用 sed 替换，也可以用编辑器，大多数编辑器都有全局替换的功能。如果你实在不知道如何提取，可以使用我提取好的 json：

{
    "annotations":{
        "list":[
            {
                "builtIn":1,
                "datasource":"-- Grafana --",
                "enable":true,
                "hide":true,
                "iconColor":"rgba(0, 211, 255, 1)",
                "name":"Annotations & Alerts",
                "type":"dashboard"
            }]
    },
    "description":"Felix dashboard is part of calico documentation website, you will have great insight about you Calico instance by using this dashboard.",
    "editable":true,
    "gnetId":12175,
    "graphTooltip":0,
    "id":1,
    "links":[
        {
            "icon":"external link",
            "includeVars":false,
            "tags":[
            ],
            "targetBlank":true,
            "title":"Calico documentation",
            "tooltip":"Comprehensive tutorial on how to use this dashboard.",
            "type":"link",
            "url":"https://docs.projectcalico.org/master/maintenance/monitor/monitor-component-visual"
        }],
    "panels":[
        {
            "collapsed":false,
            "datasource":"prometheus",
            "gridPos":{
                "h":1,
                "w":24,
                "x":0,
                "y":0
            },
            "id":6,
            "panels":[
            ],
            "title":"Alerts and general info",
            "type":"row"
        },
        {
            "cacheTimeout":null,
            "datasource":"prometheus",
            "description":"These metrics are part of general information related to your Calico implementation.",
            "gridPos":{
                "h":4,
                "w":8,
                "x":0,
                "y":1
            },
            "id":2,
            "links":[
            ],
            "options":{
                "fieldOptions":{
                    "calcs":[
                        "lastNotNull"],
                    "defaults":{
                        "mappings":[
                        ],
                        "thresholds":{
                            "mode":"absolute",
                            "steps":[
                                {
                                    "color":"green",
                                    "value":null
                                },
                                {
                                    "color":"red",
                                    "value":80
                                }]
                        }
                    },
                    "overrides":[
                    ],
                    "values":false
                },
                "orientation":"auto",
                "showThresholdLabels":false,
                "showThresholdMarkers":true
            },
            "pluginVersion":"6.7.3",
            "targets":[
                {
                    "expr":"felix_active_local_endpoints",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "timeFrom":null,
            "timeShift":null,
            "title":"Active hosts on each node",
            "transparent":true,
            "type":"gauge"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":8,
                "y":1
            },
            "id":25,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"sum(rate(felix_iptables_save_errors[5m]))",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"iptables save errors",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"current"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":11,
                "y":1
            },
            "id":23,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"sum(rate(felix_ipset_errors[5m]))",
                    "interval":"",
                    "legendFormat":"",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"ipset errors",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"current"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":14,
                "y":1
            },
            "id":18,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"max(felix_cluster_num_hosts)",
                    "interval":"",
                    "legendFormat":"Calico node",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"Active calico nodes",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"current"
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "description":"This graph shows you all the errors that Calico encounters, it is important to note occasional errors are acceptable. However, rise in the number of error or constant error counters means Calico is not working properly.",
            "fill":1,
            "fillGradient":0,
            "gridPos":{
                "h":4,
                "w":7,
                "x":17,
                "y":1
            },
            "hiddenSeries":false,
            "id":28,
            "legend":{
                "avg":false,
                "current":false,
                "hideEmpty":false,
                "max":false,
                "min":false,
                "show":false,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":1,
            "links":[
            ],
            "nullPointMode":"null as zero",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pluginVersion":"6.7.2",
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"rate(felix_ipset_errors[5m])",
                    "interval":"",
                    "legendFormat":"{{instance}} ipset errors",
                    "refId":"A"
                },
                {
                    "expr":"rate(felix_iptables_restore_errors[5m])",
                    "interval":"",
                    "intervalFactor":1,
                    "legendFormat":"{{instance}} iptables restore errors",
                    "refId":"B"
                },
                {
                    "expr":"rate(felix_iptables_save_errors[5m])",
                    "interval":"",
                    "legendFormat":"{{instance}} iptables save errors",
                    "refId":"C"
                },
                {
                    "expr":"rate(felix_log_errors[5m])",
                    "interval":"",
                    "legendFormat":"{{instance}} log errors",
                    "refId":"D"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Errors plot",
            "tooltip":{
                "shared":true,
                "sort":1,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "datasource":"prometheus",
            "description":"More policies on Felix means more effort required by Calico to manage packets. ",
            "gridPos":{
                "h":4,
                "w":8,
                "x":0,
                "y":5
            },
            "id":20,
            "options":{
                "fieldOptions":{
                    "calcs":[
                        "mean"],
                    "defaults":{
                        "mappings":[
                        ],
                        "thresholds":{
                            "mode":"absolute",
                            "steps":[
                                {
                                    "color":"green",
                                    "value":null
                                },
                                {
                                    "color":"red",
                                    "value":80
                                }]
                        }
                    },
                    "overrides":[
                    ],
                    "values":false
                },
                "orientation":"auto",
                "showThresholdLabels":false,
                "showThresholdMarkers":true
            },
            "pluginVersion":"6.7.3",
            "targets":[
                {
                    "expr":"felix_cluster_num_policies",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "timeFrom":null,
            "timeShift":null,
            "title":"Felix cluster policies",
            "transparent":true,
            "type":"gauge"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":8,
                "y":5
            },
            "id":29,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"sum(rate(felix_iptables_restore_errors[5m]))",
                    "interval":"",
                    "legendFormat":"",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"iptables restore errors",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"current"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":11,
                "y":5
            },
            "id":26,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"sum(rate(felix_log_errors[5m]))",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"Felix log errors",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"current"
        },
        {
            "cacheTimeout":null,
            "colorBackground":false,
            "colorValue":true,
            "colors":[
                "#299c46",
                "rgba(237, 129, 40, 0.89)",
                "#d44a3a"],
            "datasource":"prometheus",
            "format":"none",
            "gauge":{
                "maxValue":100,
                "minValue":0,
                "show":false,
                "thresholdLabels":false,
                "thresholdMarkers":true
            },
            "gridPos":{
                "h":4,
                "w":3,
                "x":14,
                "y":5
            },
            "id":24,
            "interval":null,
            "links":[
            ],
            "mappingType":1,
            "mappingTypes":[
                {
                    "name":"value to text",
                    "value":1
                },
                {
                    "name":"range to text",
                    "value":2
                }],
            "maxDataPoints":100,
            "nullPointMode":"connected",
            "nullText":null,
            "pluginVersion":"6.7.3",
            "postfix":"",
            "postfixFontSize":"200%",
            "prefix":"",
            "prefixFontSize":"200%",
            "rangeMaps":[
                {
                    "from":"null",
                    "text":"N/A",
                    "to":"null"
                }],
            "sparkline":{
                "fillColor":"rgba(31, 118, 189, 0.18)",
                "full":false,
                "lineColor":"rgb(31, 120, 193)",
                "show":false,
                "ymax":null,
                "ymin":null
            },
            "tableColumn":"",
            "targets":[
                {
                    "expr":"sum(rate(felix_resyncs_started[5m])) ",
                    "interval":"",
                    "legendFormat":"",
                    "refId":"A"
                }],
            "thresholds":"",
            "timeFrom":null,
            "timeShift":null,
            "title":"Felix resync started",
            "transparent":true,
            "type":"singlestat",
            "valueFontSize":"200%",
            "valueMaps":[
                {
                    "op":"=",
                    "text":"N/A",
                    "value":"null"
                }],
            "valueName":"avg"
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":1,
            "fillGradient":0,
            "gridPos":{
                "h":4,
                "w":7,
                "x":17,
                "y":5
            },
            "hiddenSeries":false,
            "id":31,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":false,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":1,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_logs_dropped",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Felix dropped logs",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "collapsed":false,
            "datasource":"prometheus",
            "gridPos":{
                "h":1,
                "w":24,
                "x":0,
                "y":9
            },
            "id":14,
            "panels":[
            ],
            "title":"Dataplane",
            "type":"row"
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "description":"Dataplane apply time can indicate how busy your Kubernetes instance is. This can slow down Calico performance",
            "fill":2,
            "fillGradient":4,
            "gridPos":{
                "h":7,
                "w":8,
                "x":0,
                "y":10
            },
            "hiddenSeries":false,
            "id":16,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":true,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":2,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_int_dataplane_apply_time_seconds{quantile=\"0.5\"}",
                    "format":"time_series",
                    "instant":false,
                    "interval":"",
                    "intervalFactor":1,
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Dataplane apply time quantile 0.5",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":2,
            "fillGradient":4,
            "gridPos":{
                "h":7,
                "w":8,
                "x":8,
                "y":10
            },
            "hiddenSeries":false,
            "id":15,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":true,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":2,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_int_dataplane_apply_time_seconds{quantile=\"0.9\"}",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Dataplane apply time quantile 0.9",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":2,
            "fillGradient":4,
            "gridPos":{
                "h":7,
                "w":8,
                "x":16,
                "y":10
            },
            "hiddenSeries":false,
            "id":12,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":true,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":2,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_int_dataplane_apply_time_seconds{quantile=\"0.99\"}",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Dataplane apply time quantile 0.99",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "collapsed":false,
            "datasource":null,
            "gridPos":{
                "h":1,
                "w":24,
                "x":0,
                "y":17
            },
            "id":35,
            "panels":[
            ],
            "title":"Route table",
            "type":"row"
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":1,
            "fillGradient":0,
            "gridPos":{
                "h":7,
                "w":8,
                "x":0,
                "y":18
            },
            "hiddenSeries":false,
            "id":33,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":false,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":1,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_route_table_list_seconds{quantile=\"0.5\"}",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Felix route table list seconds quantile 0.5",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":1,
            "fillGradient":0,
            "gridPos":{
                "h":7,
                "w":8,
                "x":8,
                "y":18
            },
            "hiddenSeries":false,
            "id":36,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":false,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":1,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_route_table_list_seconds{quantile=\"0.9\"}",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Felix route table list seconds quantile 0.9",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        },
        {
            "aliasColors":{
            },
            "bars":false,
            "dashLength":10,
            "dashes":false,
            "datasource":"prometheus",
            "fill":1,
            "fillGradient":0,
            "gridPos":{
                "h":7,
                "w":8,
                "x":16,
                "y":18
            },
            "hiddenSeries":false,
            "id":37,
            "legend":{
                "avg":false,
                "current":false,
                "max":false,
                "min":false,
                "show":false,
                "total":false,
                "values":false
            },
            "lines":true,
            "linewidth":1,
            "nullPointMode":"null",
            "options":{
                "dataLinks":[
                ]
            },
            "percentage":false,
            "pointradius":2,
            "points":false,
            "renderer":"flot",
            "seriesOverrides":[
            ],
            "spaceLength":10,
            "stack":false,
            "steppedLine":false,
            "targets":[
                {
                    "expr":"felix_route_table_list_seconds{quantile=\"0.99\"}",
                    "interval":"",
                    "legendFormat":"{{instance}}",
                    "refId":"A"
                }],
            "thresholds":[
            ],
            "timeFrom":null,
            "timeRegions":[
            ],
            "timeShift":null,
            "title":"Felix route table list seconds quantile 0.99",
            "tooltip":{
                "shared":true,
                "sort":0,
                "value_type":"individual"
            },
            "transparent":true,
            "type":"graph",
            "xaxis":{
                "buckets":null,
                "mode":"time",
                "name":null,
                "show":true,
                "values":[
                ]
            },
            "yaxes":[
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                },
                {
                    "format":"short",
                    "label":null,
                    "logBase":1,
                    "max":null,
                    "min":null,
                    "show":true
                }],
            "yaxis":{
                "align":false,
                "alignLevel":null
            }
        }],
    "refresh":false,
    "schemaVersion":22,
    "style":"dark",
    "tags":[
        "calico",
        "felix",
        "kubernetes",
        "k8s",
        "calico-node",
        "cloud",
        "cluster monitoring",
        "policy monitoring"],
    "templating":{
        "list":[
        ]
    },
    "time":{
        "from":"now-6h",
        "to":"now"
    },
    "timepicker":{
        "refresh_intervals":[
            "5s",
            "10s",
            "30s",
            "1m",
            "5m",
            "15m",
            "30m",
            "1h",
            "2h",
            "1d"]
    },
    "timezone":"",
    "title":"Felix Dashboard (Calico)",
    "uid":"calico-felix-dashboard",
    "variables":{
        "list":[
        ]
    },
    "version":1
}

修改完了之后，将 json 内容导入到 Grafana：

最后得到的 Felix 仪表盘如下图所示：

如果你对我截图中 Grafana 的主题配色很感兴趣，可以参考这篇文章：Grafana 自定义主题。

Grafana 自定义主题

yangchuansheng33@gmail.com (米开朗基杨) — Sat, 29 Feb 2020 16:31:23 +0800

Grafana 自带两款主题 Light 和 Dark，都还不错，Light 有点刺眼，不建议使用。Dark 还马马虎虎，不过时间长了总会产生审美疲劳，anyway 还是有很多人需要自定义主题的，前几天我在票圈分享了魔改的 Grafana 界面之后，一大批童鞋让我分享主题。可是 Grafana 默认情况下是不支持自定义主题的，你想改变主题样式或新增主题只能修改源码重新编译。

难道没有别的办法了？办法还是有的，只不过稍微有点繁琐，但不复杂。今天就来给大家分享一种不需要改源码的方法，老少皆宜，按照我的步骤来，最后一定能搞定。这里不得不提一句，很多事情都是没有什么技术含量的，靠的是敏锐的嗅觉、强大的信息收集能力和变通能力，有很多技术大神思维都很僵化，解决问题容易钻进死胡同，这里我就不多说了。

就拿今天的主题来说，自定义 Grafana 主题的方法真的没有什么技术含量，当你知道了之后就会觉得它非常简单，但是为什么你搞不定呢？可以自己思考一下。

下面我来演示一下我解决这个问题的思路和方法，最后给出结果。

一开始我想到 Grafana 可以通过插件机制来扩展和自定义自身的功能，那就可以从这里入手，首先打开 Google 搜索，从 Grafana 官网搜索关于 theme 的插件：

找了一圈发现只有 Boom theme plugin 符合要求，点进去发现这是一个 Panel 插件，这就意味着由于插件自身的局限性，不管你做了什么它只会对当前的仪表盘生效。如果你想改变当前仪表盘的样式，需要添加一个面板：

点击 ”Choose Visualization“ 选择可视化类型，然后选择 <Boom Theme>，然后你就可以添加自定义主题了。

但是现在问题又来了，我太懒了，不想自己写 CSS，怎么办？有没有别人写好的主题呢？Github 是一个宝库，可以去那里找找。通过关键词 grafana theme 搜索过去一年内活跃过的项目：

最终选择了 theme.pak。找到自己心仪的主题添加到上面的面板中，就大功告成了：

你可以将其中一个主题设为默认主题，这样每次打开当前仪表盘都会使用你设置的默认主题。自定义主题后的仪表盘是这个样子的：

最上面的菜单是我们刚刚添加的主题，可以直接点击不同主题实时切换：

如果想让所有的仪表盘都使用自定义主题，需要在所有的仪表盘上新增一个 Boom Theme Panel，为了避免重复的配置工作，可以直接复制 Panel，操作步骤如下：

首先点击 Panel 上的到三角，鼠标悬停在选项 More 上：

然后选择 Copy：

到下一个仪表盘中新建一个面板，选择 Paste copied panel：

搞定。

怎么样，没什么技术含量吧？

Grafana 6.4 正式发布！

yangchuansheng33@gmail.com (米开朗基杨) — Tue, 08 Oct 2019 01:49:41 +0800

英文原文：Grafana v6.4 Released

2019 年 10 月 2 日，也就是中国的国庆期间，Grafana 实验室正式发布了 Grafana 6.4 版本。这个版本主要围绕数据模型和指标查询对原有的功能进行增强，同时增加了一些新特性。

1. Grafana 6.4 新特性

Explore : 支持跳转到仪表盘面板
Explore : 改进日志的实时查看功能
Loki : 在仪表盘中将日志显示为注释
Loki : 支持在仪表盘面板中使用 Loki
面板 : 新增日志面板
面板 : Data Link 功能增强
图形 : 借助 Series Override 将点变成线
仪表盘 : 支持在不同面板间共享查询结果
插件 : grafana-toolkit 发布 Alpha 版
图形渲染 : 弃用 PhantomJS
Docker : 基础镜像改为 Alpine
LDAP : 新增 LDAP Debug UI

2. 从 Explore 回到仪表盘

为了让使用者能够在 Explore 和仪表盘之间来回快速切换，Grafana 6.4 新增了一个功能，当你从仪表盘的下拉菜单中跳转到 Explore 后，还可以回到先前的仪表盘。

当你从仪表盘跳转到 Explore 之后，你会看到 Explore 工具栏中有一个“返回”箭头。

直接点击这个箭头就会回到先前的仪表盘。如果你想在回到仪表盘的同时保存 Explore 中的变更，只需要单击箭头旁边的倒三角即可显示 “Return to panel with changes” 菜单项。

3. 日志实时查看功能改进

新版本在日志查看面板中增加了一个暂停按钮，只要点击该按钮，就会暂停显示新日志。或者当你向上滚动查看日志时，也会自动暂停显示新日志。如果想恢复日志实时显示，只需重新点击暂停按钮。

此外，还引入了一些性能优化，以允许实时跟踪更高吞吐量的日志流。还有各种 UI 的修复和改进，例如更一致的样式和新日志的高亮显示。

4. 新增日志面板

日志面板可以显示来自其他数据源的日志（例如 Elastic，Influx 和 Loki）。通常日志面板显示在监控面板旁边，以展示相关进程的日志输出。

尽管日志面板也支持查看实时日志，但通常建议只在 Explore 中使用此功能。日志面板最好通过页面顶部的刷新按钮来同步日志数据。日志面板现在处于 Beta 阶段，慎用。

5. Data Link 功能改进

Grafana 6.3 引入了一种新的方式来更进一步研究监控数据，即 Data Link。Data link 会帮您创建一个到外部仪表盘或外部系统的动态链接，它主要由标题和 URL 两部分组成，其中 URL 可以引用模板变量和指标查询的结果，例如时间序列的名称和标签，字段的名称、值和时间等。关于 Data link 的更多信息请参考官方文档。

在 Grafana 6.3 中，Data link 只支持 Graph 面板，Grafana 6.4 增强了该功能，使其支持 Guage 面板和 Bar Guage 面板。

6. 借助 Series Override 将点变成线

某些指标的查询结果比较特殊，每个时间序列仅由一个点组成，无法显示在 Graph 面板中。Grafana 6.4 可以借助 series overrides 将点变成一条平行于 X 轴的线，只需要依次选择 Transform > constant 就可以了。

7. 在不同面板间共享查询结果

如果某些指标的查询很耗费资源，你可以在不同的面板之间共享同一个查询结果，以此来避免重复查询。具体的操作方法是在新面板的数据源中选择 -- Dashboard --，然后选择相应的面板。

除了共享某个面板所有的查询结果之外，还可以选择共享面板的部分查询结果。该功能目前处于 Alpha 阶段，需要在配置文件中显式启用。

8. grafana-toolkit 发布 Alpha 版

grafana-toolkit 的目标是简化插件开发人员的工作，它可以使开发人员专注于插件的核心价值，不用关心环境和配置，也不用关心测试和打包流程。

关于 grafana-toolkit 的更多信息请参考官方文档。

9. 弃用 PhantomJS

之前 Grafana 使用 PhantomJS 来渲染面板中的图像，现在已被弃用，在未来的版本中将会彻底删除。如果你仍然在使用 PhantomJS，每次 Grafana 启动时都会向你发出 PhantomJS 已被弃用的警告。

从 Grafana 6.4 开始，建议从 PhantomJS 迁移到 Grafana 图像渲染插件。

10. 基础镜像改为 Alpine

从 Grafana 6.4 将基础镜像改为 Alpine 3.10，现在再用镜像扫描工具来扫描镜像中的安全漏洞，应该会显示零漏洞了。

11. 升级

请查看升级说明

12. 更新日志

更新日志请查看 CHANGELOG.md 文件。

13. 下载

下载页面：https://grafana.com/grafana/download

一文搞懂 Prometheus 的直方图

yangchuansheng33@gmail.com (米开朗基杨) — Tue, 06 Aug 2019 14:25:12 +0800

Prometheus 中提供了四种指标类型（参考：Prometheus 的指标类型），其中直方图（Histogram）和摘要（Summary）是最复杂和难以理解的，这篇文章就是为了帮助大家加深对这 histogram 类型指标的理解。

1. 什么是 Histogram？

根据上篇文档，Histogram 会在一段时间范围内对数据进行采样（通常是请求持续时间或响应大小等），并将其计入可配置的存储桶（bucket）中。但这句话还是不太好理解，下面通过具体的示例来说明。

假设我们想监控某个应用在一段时间内的响应时间，最后监控到的样本的响应时间范围为 0s~10s。现在我们将样本的值域划分为不同的区间，即不同的 bucket，每个 bucket 的宽度是 0.2s。那么第一个 bucket 表示响应时间小于等于 0.2s 的请求数量，第二个 bucket 表示响应时间大于 0.2s 小于等于 0.4s 的请求数量，以此类推。

Prometheus 的 histogram 是一种累积直方图，与上面的区间划分方式是有差别的，它的划分方式如下：还假设每个 bucket 的宽度是 0.2s，那么第一个 bucket 表示响应时间小于等于 0.2s 的请求数量，第二个 bucket 表示响应时间小于等于 0.4s 的请求数量，以此类推。也就是说，每一个 bucket 的样本包含了之前所有 bucket 的样本，所以叫累积直方图。

2. 为什么是累积直方图？

上节内容告诉我们，Prometheus 中的 histogram 是累积的，这是很奇怪的，因为通常情况下非累积的直方图更容易理解。Prometheus 为什么要这么做呢？

想象一下，如果 histogram 类型的指标中加入了额外的标签，或者划分了更多的 bucket，那么样本数据的分析就会变得越来越复杂。如果 histogram 是累积的，在抓取指标时就可以根据需要丢弃某些 bucket，这样可以在降低 Prometheus 维护成本的同时，还可以粗略计算样本值的分位数。通过这种方法，用户不需要修改应用代码，便可以动态减少抓取到的样本数量。

假设某个 histogram 类型指标的样本数据如下：

# HELP example_latency_seconds Some help text
# TYPE example_latency_seconds histogram
example_latency_seconds_bucket{le="0.005"} 0.0
example_latency_seconds_bucket{le="0.01"} 0.0
example_latency_seconds_bucket{le="0.025"} 0.0
example_latency_seconds_bucket{le="0.05"} 1.0
example_latency_seconds_bucket{le="0.075"} 1.0
example_latency_seconds_bucket{le="0.1"} 1.0
example_latency_seconds_bucket{le="0.25"} 2.0
example_latency_seconds_bucket{le="0.5"} 3.0
example_latency_seconds_bucket{le="0.75"} 3.0
example_latency_seconds_bucket{le="1.0"} 4.0
example_latency_seconds_bucket{le="2.5"} 4.0
example_latency_seconds_bucket{le="5.0"} 5.0
example_latency_seconds_bucket{le="7.5"} 5.0
example_latency_seconds_bucket{le="10.0"} 5.0
example_latency_seconds_bucket{le="+Inf"} 5.0
example_latency_seconds_count 5.0
example_latency_seconds_sum 6.54

现在我们希望 Prometheus 在抓取指标时丢弃响应时间在 100ms 以下的 bucket，就可以通过下面的 relabel 配置来实现：

scrape_configs:
 - job_name: 'my_job'
   static_configs:
     - targets:
       - my_target:1234
   metric_relabel_configs:
   - source_labels: [ __name__, le ]
     regex: 'example_latency_seconds_bucket;(0\.0.*)'
     action: drop

其中，example_latency_seconds_bucket 用来匹配标签 __name__ 的值，‘0.0.*’ 用来匹配标签 le 的值，即 le 的值为 0.0x。然后将匹配到的样本丢弃。

通过这种方法，你可以丢弃任意的 bucket，但不能丢弃 le="+Inf" 的 bucket，因为 histogram_quantile 函数需要使用这个标签。

另外 histogram 还提供了 _sum 指标和 _count 指标，即使你丢弃了所有的 bucket，仍然可以通过这两个指标值来计算请求的平均响应时间。

通过累积直方图的方式，还可以很轻松地计算某个 bucket 的样本数占所有样本数的比例。例如，想知道响应时间小于等于 1s 的请求占所有请求的比例，可以通过以下公式来计算：

example_latency_seconds_bucket{le="1.0"} / ignoring (le) example_latency_seconds_bucket{le="+Inf"}

3. 分位数计算

Prometheus 通过 histogram_quantile 函数来计算分位数（quantile），而且是一个预估值，并不完全准确，因为这个函数是假定每个区间内的样本分布是线性分布来计算结果值的。预估的准确度取决于 bucket 区间划分的粒度，粒度越大，准确度越低。以下图为例：

假设有 10000 个样本，第 9501 个样本落入了第 8 个 bucket。第 8 个 bucket 总共有 368 个样本，其中第 9501 个样本在该 bucket 中属于第 93 个样本。

根据 Prometheus 源代码文件 promql/quantile.go 第 108 行的公式：

return bucketStart + (bucketEnd-bucketStart)*float64(rank/count)

我们可以计算（quantile=0.95）的样本值为：

这个值已经很接近精确的分位数值了。关于 histogram_quantile 函数的详细使用方式，请参考：PromQL 内置函数。

4. 总结

本文主要介绍了 histogram 的工作原理以及分位数的计算方法，相信通过本文的抛砖引玉，大家应该对 Prometheus 的 histogram 有了更深一步的了解，下篇文章将会为大家呈现 Summary 的工作方式。

5. 参考资料

Prometheus and Histograms