Betterleaks 深度解析Gitleaks 原作者打造的高速开源密钥泄漏扫描器【免费下载链接】betterleaksFind leaked secrets everywhere.项目地址: https://gitcode.com/gh_mirrors/be/betterleaksBetterleaks 是一款由 Gitleaks 原作者参与维护的高速开源密钥泄漏扫描器能在文件系统、Git 历史、GitHub、GitLab、Hugging Face 和 S3 等任意来源中快速发现泄露的 API 密钥、令牌和凭证并支持凭证有效性验证、身份权限分析与主动吊销。为什么选择 Betterleaks 这款密钥泄漏扫描器背景一句话密钥泄露是安全事件的主要源头之一——一个提交到仓库、写在 CI 日志或粘贴在 Issue 评论里的 Token就可能意味着整个云账号失守。传统的密钥扫描工具要么误报多、要么速度慢、要么只会找到却不会判断。Betterleaks 的定位是可配置、快速且彻底的 secrets 扫描器由 Aikido Security 团队Gitleaks 的创建者持续开发。它相比同类工具的核心优势可以概括为 4 点能力Betterleaks 的做法智能验证通过 Expr 表达式直接调用云服务商 API确认密钥是否仍然有效风险分析自动解析凭证身份、权限范围scopes、能力边界与严重级别⚡极速扫描Aho-Corasick 关键词预过滤 re2 正则引擎 默认合理并行低误报BPE 分词稀有度过滤、上下文 Expr 过滤器双重降噪官方还专门写了一系列技术博客解释检测引擎原理Regex is all you need、Rare Not Random 等见 README.md 中的链接索引。5 分钟上手Betterleaks 密钥扫描快速安装指南安装方式覆盖主流渠道一行命令即可开始扫描# macOS / Linux Homebrew brew install betterleaks # Fedora Linux sudo dnf install betterleaks # 容器 docker pull ghcr.io/betterleaks/betterleaks:v2 # Go go install github.com/betterleaks/betterleaks/v2latest # 或从源码构建 git clone https://gitcode.com/gh_mirrors/be/betterleaks cd betterleaks make build⚠️ 提示main分支为 v2 开发版如需从 v1 升级请阅读 v2 迁移指南其中包含 CLI 命令、配置与报告格式的完整对照表。最常用的 6 个扫描命令Betterleaks 的命令行设计非常直观目标是什么就扫描什么# 1. 扫描本地文件系统fs 是 filesystem 的别名 betterleaks fs /path/to/project # 2. 扫描 Git 仓库完整历史 betterleaks git /path/to/repo # 3. 自动识别远程仓库并扫描历史 betterleaks https://example.com/owner/repo # 4. 扫描 GitHub 组织Issue、PR、Actions 日志、Gists 等 betterleaks github https://github.com/my-company # 5. 扫描 GitLab 组或项目 betterleaks gitlab https://gitlab.com/mygroup/myproject # 6. 管道输入 / 单个 URL cat config.env | betterleaks stdin betterleaks url https://example.com/config.txt扫描默认只检测、不联网验证离线安全。需要验证时追加参数# 验证检测到的凭证是否有效 betterleaks fs . -v # 验证 分析身份与权限分析隐含验证 betterleaks fs . -a提交前拦截Git 钩子防泄漏配合--staged参数可接入 pre-commit 钩子在密钥离开本机前就拦截betterleaks git --staged --redact此外还有--pre-receive服务端钩子模式可部署在 Git 服务器仓库中推送时发现泄漏直接拒绝详见 docs/scanning.md 的 Pre-receive hook 章节。Betterleaks 检测引擎解析为什么这么快速度不是靠蛮力而是三层流水线设计源码分别位于 internal/ahocorasick/ 与 scan/Prefilter 预排除基于 Expr 的表达式在正则匹配前就跳过明显无用的片段如图片、node_modules/、机器人提交的 commit实现先排除、再扫描。Aho-Corasick 关键词匹配所有规则的关键词如ghp_、AKIA被编译成一台多模匹配自动机单次遍历文本即可定位候选区域避免对全部规则逐条跑正则。核心实现见 internal/ahocorasick/matcher.go。re2 精确正则只在候选区域上用高性能 re2 引擎做精确匹配命中后再经过全局/规则级 Expr 过滤器降噪。并行方面-j / --jobs控制检测并发默认4 * GOMAXPROCS而文件读取、Git 历史进程、S3 对象下载等各自采用有界 I/O 并发读写重叠执行。完整策略表见 docs/scanning.md 的 Parallel jobs 章节。从找到到判断凭证验证与权限分析这是 Betterleaks 最有差异化的部分——扫描只是起点判断风险才是终点# 验证已知凭证是否存活 printf %s\n $GITHUB_TOKEN | betterleaks validate --rule github-pat # 验证 解析身份和权限 printf %s\n $GITHUB_TOKEN | betterleaks analyze --rule github-pat # 查看哪些规则支持分析 / 吊销 betterleaks config show ids --analysis betterleaks config show ids --revocationvalidate对候选密钥发起真实 API 请求限流、超时、并发均可调输出VALID/INVALID/UNKNOWN。analyze在验证基础上解析该凭证是谁、有什么权限例如 GitHub Token 的 scope 列表并映射为读/写/创建凭证等能力维度最终给出严重度评分。revoke对配置了吊销表达式的规则可显式执行密钥吊销扫描过程本身永远不会自动吊销。验证与分析的实现位于 analyze/ 和 internal/exprruntime/Expr 绑定了http.get、crypto、analysis.capabilities等函数。配置即规则Betterleaks 自定义检测规则教程Betterleaks 的全部逻辑——过滤、验证、分析——都写在一份 TOML 配置里用 Expr内置默认配置# 全局预过滤器匹配前先排除图片、依赖目录和机器人提交 prefilter matchesAny(attributes[path], [ (?i)\.(?:png|jpg|svg|pdf)$, (?:^|/)node_modules(?:/.*)?$ ]) || attributes[git.author_name] renovate[bot] [[rules]] id github-pat description GitHub Personal Access Token. regex ghp_[0-9a-zA-Z]{36} keywords [ghp_] # 规则级过滤器低熵或测试用的 token 直接丢弃 filter containsAny(finding[secret], [EXAMPLE, CHANGEME]) || entropy(finding[secret]) 3.0 # 匹配后异步验证请求 GitHub API 判断 Token 有效性 validate let r http.get(https://api.github.com/user, { Authorization: token finding[secret] }); r.status 200 三个关键机制值得新手理解prefilter预过滤运行在正则之前只能访问attributes路径、Git 作者等元数据用于廉价地跳过大片输入。filter过滤运行在正则命中之后可访问finding[secret]等匹配数据用于精细降噪。components组合规则多段式凭证如 AWS 的 Access Key Secret Key可以声明邻近组件规则自动组装完整凭证。官方建议生产环境维护自己的配置文件而非直接扩展上游默认配置可保持规则集稳定。完整字段参考见 docs/config.md。结果输出与误报治理报告与优先级排序# JSON 报告含 schema 版本与扫描元数据 betterleaks fs . --output findings.json # JSONL 流式输出每条发现一行适合管道处理 betterleaks fs . --jsonl # 敏感值打码 betterleaks fs . --redact100 -o report.json每条发现自带**置信度confidence、验证状态status、严重度severity**三个维度triage 时按 1-2-3 排序即可。JSON 报告结构见 docs/schemas/findings.schema.json终端美化输出见 report/print_pretty.go。三种我知道它是误报的治理方式场景方法某一行的发现是预期内的在行内添加betterleaks:allow兼容gitleaks:allow某个固定值全局忽略betterleaks fingerprint生成 SHA-256 指纹写入.betterleaksignore某类模式整体排除在全局filter中写 Expr 表达式指纹文件只存哈希、不存明文密钥配合--hmac-key还可升级为 HMAC-SHA-256 密钥指纹详见 docs/scanning.md 的 Ignore exact secret values 章节与 fingerprint/ 包。Go SDK 集成把密钥扫描嵌入你的工具Betterleaks 同时是一个 Go 库扫描器与分析器默认静默、可跨扫描复用examples/ 提供了自定义配置、正则引擎切换、并发扫描等可运行示例cfg, _ : config.Default() scanner, _ : scan.New(cfg) for _, f : range scanner.ScanString(GITHUB_TOKENghp_xxx) { fmt.Println(f.RuleID) }主要包路径速查核心扫描引擎scan/Scanner不发起任何凭证请求数据来源sources/GitHub / GitLab / Hugging Face / S3 / 文件系统 / Git凭证验证与分析analyze/、internal/provider/报告生成report/编解码base64、hex、百分号编码等internal/codec/常见问题 FAQQ1Betterleaks 和 Gitleaks 是什么关系Betterleaks 由 Gitleaks 的原班人马含原作者开发是 Gitleaks 设计理念的深度演进默认离线检测、验证/分析显式开启、Expr 表达式全面替代脚本。已在用 Gitleaks 的可参考 docs/v2_migration.md 的对照表迁移。Q2扫描会把我的密钥发给第三方吗默认只检测不验证完全离线安全只有显式加-v/-a时才会向凭证所属的服务商 API如 GitHub发起验证请求且从不发送密钥给 Betterleaks 自身。Q3会扫描压缩包和二进制文件吗会。--max-archive-depth控制压缩包递归深度二进制文件也会按字节序列匹配但不做 OCR 之类的渲染文本提取。Q4如何控制内存和速度-j调节检测并发--max-target-megabytes跳过超大文件来源侧的 I/O 并发由内部策略管理见 docs/scanning.md。总结Betterleaks 用预过滤 → 多模匹配 → 精确正则 → 表达式降噪 → 在线验证 → 权限分析的完整流水线把密钥泄漏检测从找到字符串升级为评估真实风险。无论你只是想给仓库做一次泄漏体检还是要把它接入 CI/CD 和 Git 服务器钩子它都是一个开箱即用、可深度定制的高速开源密钥泄漏扫描器。延伸阅读扫描指南 · 配置参考 · v2 迁移指南 · JSON Schema 定义【免费下载链接】betterleaksFind leaked secrets everywhere.项目地址: https://gitcode.com/gh_mirrors/be/betterleaks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考