发表于 2024年6月26日1年前 前提：没有用相关的日志推送工具，现在是将 SPLUNK 上的日志原封不动的拉取下来然后通过 push 接口重新推到 loki ，splunk 日志量大约日 500G 因为原封不动推数据的时候，把 splunk 上所有的标签也作为 loki 日志的标签（ labels ）发上去了，然后发现 index 文件特别大，backend 服务在压缩的时候就会频繁 oom 后来就使用标签白名单的形式，只保留了 host 、splunk_server 等 4 个标签，但是现在发现 loki 里的 index 文件一直是几天前的，而且查不到最近几天的日志
前提：没有用相关的日志推送工具，现在是将 SPLUNK 上的日志原封不动的拉取下来然后通过 push 接口重新推到 loki ，splunk 日志量大约日 500G
因为原封不动推数据的时候，把 splunk 上所有的标签也作为 loki 日志的标签（ labels ）发上去了，然后发现 index 文件特别大，backend 服务在压缩的时候就会频繁 oom
后来就使用标签白名单的形式，只保留了 host 、splunk_server 等 4 个标签，但是现在发现 loki 里的 index 文件一直是几天前的，而且查不到最近几天的日志