# GrimoireELK
GrimoireELK
就是一个数据增强组件,这个组件基于 ElasticSearch。这个组件的作用有两个。
- 存储
perceval
获得的数据,这样就不用反复拉取。 - 对原来的数据进行加工和 enrich,使其能被 K 从 bit 而使用。
关于 raw 数据和 enrich 数据可以直接查看 https://github.com/chaoss/grimoirelab-elk,这里不多描述。
# Ceres
Ceres
就是一个数据解析工具,他负责解析从 perceval
获取得到的数据。
它的工作逻辑如下:
# Eventize
perceval
会产生 JSON 格式的数据,而 ceres 做的就是 split
。通过 eventizing
,ceres 将 json 文件辨析为 Pandas 的 DataFrame 格式。ceres 有两种解析程度,这个后续再看。
# Format
format 功能就是格式转换,比如将时间从 string 转换为 Date 格式。
# Filter
filter 可以用于过滤某一行的信息。
# Data Enrich
数据增强,虽然我不知道它是怎么做到的。
# Sorting Hat
A tool to manage identities.
这是简介对于 Sorting Hat 的描述,也就是说它是处理 identities 的。但是简介好像没有说这个 identities 到底是什么,好像只说有唯一 uuid,对于每一独特的 identity 可以定义一个 profile。
identity 可以对应不同时间段的从属关系。
Sorting Hat 使用 Perceval 的检索数据,并把获得的 identities 保存到数据库中。
这玩意的用法我还是没怎么搞懂,identites 和 profile 到底怎么搞?