# GrimoireELK

GrimoireELK 就是一个数据增强组件,这个组件基于 ElasticSearch。这个组件的作用有两个。

  1. 存储 perceval 获得的数据,这样就不用反复拉取。
  2. 对原来的数据进行加工和 enrich,使其能被 K 从 bit 而使用。

关于 raw 数据和 enrich 数据可以直接查看 https://github.com/chaoss/grimoirelab-elk,这里不多描述。

# Ceres

Ceres 就是一个数据解析工具,他负责解析从 perceval 获取得到的数据。

它的工作逻辑如下:

# Eventize

perceval 会产生 JSON 格式的数据,而 ceres 做的就是 split 。通过 eventizing ,ceres 将 json 文件辨析为 Pandas 的 DataFrame 格式。ceres 有两种解析程度,这个后续再看。

# Format

format 功能就是格式转换,比如将时间从 string 转换为 Date 格式。

# Filter

filter 可以用于过滤某一行的信息。

# Data Enrich

数据增强,虽然我不知道它是怎么做到的。

# Sorting Hat

A tool to manage identities.

这是简介对于 Sorting Hat 的描述,也就是说它是处理 identities 的。但是简介好像没有说这个 identities 到底是什么,好像只说有唯一 uuid,对于每一独特的 identity 可以定义一个 profile。

identity 可以对应不同时间段的从属关系。

Sorting Hat 使用 Perceval 的检索数据,并把获得的 identities 保存到数据库中。

这玩意的用法我还是没怎么搞懂,identites 和 profile 到底怎么搞?