概述
Pillager旨在提供一种简单的方法,利用Go的强并发模型递归地搜索目录中的敏感信息。Pillager基于目前几个功能强大的项目实现其功能,一旦Pillager找到与指定模式匹配的文件,就会使用一系列并发工作线程扫描该文件,每个并发工作线程从作业队列中提取一行文件,并查找敏感模式匹配项。所有可用的模式过滤器可以在一个rules.toml文件中定义,或者广大研究人员也可以选择使用默认的规则集。
工具安装
Go
如果你已经在系统中安装好了Go环境,我们就可以使用go get来安装Pillager了:
go get github.com/brittonhayes/pillager
Scoop(Windows)
scoop bucket add pillager https://github.com/brittonhayes/pillager-scoop.git scoop install pillager
Homebrew(macOS/Linux)
brew tap brittonhayes/homebrew-pillager brew install pillager
工具使用
我们可以使用pillager命令来查看该工具所有支持的命令:
# To see instructions for the entire application pillager # From any subcommand pillager [cmd] --help
工具配置
Gitleaks规则
Pillager提供了针对Gitleaks规则的完整支持,我们可以通过一个rules.toml文件来传递规则,或者直接使用默认规则:
# rules.toml title = "pillager rules" [[rules]] description = "AWS Access Key" regex = '''(A3T[A-Z0-9]|AKIA|AGPA|AIDA|AROA|AIPA|ANPA|ANVA|ASIA)[A-Z0-9]{16}''' tags = ["key", "AWS"] [[rules.entropies]] Min = "3.5" Max = "4.5" Group = "1" [[rules]] description = "Email Address" regex = '''(?i)([A-Za-z0-9!#$%&'*+//=?^_{|.}~-]+@(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?/.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?)''' tags = ["email", "User Info"]
内置输出格式
Pillager拥有一系列内置的输出格式,我们可以自行选择。
基本格式:
pillager hunt .
JSON:
pillager hunt ./example -f json | jq .
YAML:
pillager hunt . -f yaml
HTML:
pillager hunt . -f html > results.html
HTML Table:
pillager hunt . -f html-table > results.html
Markdown:
pillager hunt . -f markdown > results.md
Markdown Table:
pillager hunt . -f table > results.md
自定义Go模板:
pillager hunt . --template "{{ range .Leaks}}Leak: {{.Line}}{{end}}"
来自文件的自定义Go模板:
pillager hunt . -t "$(cat templates/simple.tmpl)"
自定义模板
Pillager允许我们使用功能强大的go text/template来自定义开发输出格式。
基础风格:
{{/*basic.tmpl*/}} {{ range .Leaks -}} File: {{ .File }} Line: {{.LineNumber}} Offender: {{ .Offender }} {{ end -}}
Markdown风格:
{{/*markdown.tmpl*/}} # Results {{ range .Leaks}} ## {{ .File }} - Location: {{.LineNumber}} {{end}}
关于Gitleaks
你是否将未加密的密码、机密和任何其它不需要的数据类型存储在你的git源代码存储库中?Gitleaks为你提供了一种方法来扫描你的git存储库,以查找这些不需要的数据,这些数据应该是私有的,扫描可以自动化,以完全适合CI/CD工作流程,以便在密码识别更深入到代码库之前进行识别。
Gitleaks的一些很酷的功能包括:
支持私有存储库扫描以及需要基于密钥的身份验证的存储库。
支持Gitlab批量组织和存储库所有者(用户)存储库扫描,并提取请求扫描以在常见CI工作流中使用。
可以输出JSON和CSV格式的扫描结果以及其他报告工具和框架中的消费格式。
用于特定于环境的自定义的外部化配置,包括正则表达式规则。
可自定义的存储库名称,文件类型,提交ID,分支机构和正则表达式白名单,以减少误报。
通过使用src-d的go-git框架实现高性能。
工具运行截图
项目地址
Pillager:【GitHub传送门】
免责声明:本站某些文章、信息、图片、软件等来源于互联网,由本网整理发表,希望传递更多信息和学习之目的,并不意味赞同起观点或证实其内容的真实性以及非法用途。 如设计、版权等问题,请立即联系管理员,我们会给予更改或删除相关文章,保证您的权利。
评论