Brook规则设置指南

Brook规则是一种灵活且强大的数据处理工具，支持多种规则类型，帮助用户在数据流中执行转换、筛选、聚合等操作,以下是各规则类型的详细说明和配置方法。

条件判断规则

用途：根据数据满足特定条件执行后续操作，常见用途包括筛选、标记异常值等。

示例规则：

{
  "name": "HighRiskFlag",
  "type": "condition",
  "check": "A > 10",
  "then": ["Tag", "high_risk"]
}

配置说明：

• name：规则名称,唯一标识规则。
• type：规则类型，固定为condition。
• check：条件表达式,使用JavaScript语法。
• then：执行操作的数组,包含要执行的操作和参数。

示例应用：

• 当字段A大于10时，执行Tag字段的操作，并传递"high_risk"作为参数。

字段映射规则

用途：将字段的值替换为另一个字段的值,支持嵌套映射。

示例规则：

{
  "name": "ReplaceAgeWithDOB",
  "type": "fieldMap",
  "from": "Age",
  "to": "DOB",
  "map": {
    "unknown": "Unknown"
  }
}

配置说明：

• from：源字段名。
• to：目标字段名。
• map：映射表,指定源字段的特定值与目标字段的映射关系。

示例应用：

• 将Age字段的值替换为DOB字段的值，如果Age为unknown，则替换为"Unknown"。

重复值处理规则

用途：识别并处理重复值,常用于数据清洗和数据质量检查。

示例规则：

{
  "name": "FlagDuplicateValues",
  "type": "repeat",
  "field": "AccountNumber",
  "threshold": 2,
  "then": ["Mark", "duplicate"]
}

配置说明：

• field：需要检查的字段名。
• threshold：重复阈值,超过该值视为重复。
• then：执行操作的数组,包含要执行的操作和参数。

示例应用：

• 检查AccountNumber字段是否有超过2次重复，如果有，执行Mark字段的操作，并传递"duplicate"作为参数。

缺失值处理规则

用途：处理缺失值,常见于数据清洗和预处理阶段。

示例规则：

{
  "name": "FillMissingAge",
  "type": "missing",
  "field": "Age",
  "value": 0
}

配置说明：

• field：需要处理的字段名。
• value：填充的缺失值。

示例应用：

• 将Age字段的缺失值替换为。

格式转换规则

用途：改变字段的数据格式,常见于数据整合和标准化。

示例规则：

{
  "name": "ConvertDateFormat",
  "type": "format",
  "field": "DateOfBirth",
  "pattern": "YYYY-MM-DD"
}

配置说明：

• field：需要转换的字段名。
• pattern：目标格式字符串，如"YYYY-MM-DD"。

示例应用：

• 将DateOfBirth字段的日期格式转换为YYYY-MM-DD。

数据加密规则

用途：对敏感信息进行加密保护。

示例规则：

{
  "name": "EncryptSensitiveData",
  "type": "encrypt",
  "field": "SSN",
  "key": "encryption_key"
}

配置说明：

• field：需要加密的字段名。
• key：加密密钥。

示例应用：

• 对SSN字段进行加密，使用密钥encryption_key。

分组聚合规则

用途：按字段分组并对数据进行聚合操作，如求和、平均等。

示例规则：

{
  "name": "GroupAndSum",
  "type": "aggregate",
  "field": "Region",
  "agg": {
    "sum": "TotalSales"
  }
}

配置说明：

• field：分组字段名。
• agg：聚合操作和结果字段名，例如{"sum": "TotalSales"}表示按Region分组求和，结果字段为TotalSales。

示例应用：

• 按照Region分组，并计算TotalSales的总和。

过滤规则

用途：根据条件筛选出符合要求的数据记录。

示例规则：

{
  "name": "FilterHighRiskRecords",
  "type": "filter",
  "condition": "HighRiskFlag == true",
  "keep": ["Tag", "high_risk"]
}

配置说明：

• condition：过滤条件,使用JavaScript表达式。
• keep：保留的操作和参数。

示例应用：

• 根据HighRiskFlag是否为true筛选数据，保留Tag字段为"high_risk"的记录。

日志记录规则

用途：记录规则执行过程中的信息,便于调试和追踪问题。

示例规则：

{
  "name": "LogProcessingStep",
  "type": "log",
  "message": "Processing {name} field: {value}",
  "fields": ["Name", "Age"]
}

配置说明：

• message：日志信息模板,支持字段占位符。
• fields：要包含在日志中的字段名数组。

示例应用：

• 记录处理Name和Age字段的日志信息，如"Processing Name: John, Age: 30"。

注意事项

• 规则顺序：规则的执行顺序会影响最终结果,确保规则的顺序正确无误。
• 变量共享：规则之间可能共享变量，需谨慎设计,避免变量冲突或数据错误。
• 测试和验证：在实际应用中，建议逐一测试每个规则，确保其按预期工作,并对整个规则集进行整体测试。

通过合理配置Brook规则，您可以实现对数据的多样化处理,满足不同场景下的需求。