HuemulSolutions - BigDataGovernance

Enable full data quality and data lineage for BigData Projects. Huemul BigDataGovernance, es una librería que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una **estrategia corporativa de dato único**, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla. Facilita la configuración y lectura de las interfaces de entrada, permitiendo ajustar los parámetros de lectura en esquemas altamente cambientes, crea trazabilidad de las interfaces con las tablas en forma automática, y almacena los diccionarios de datos en un repositorio central. Finalmente, también automatiza la generación de código a partir de las definiciones de las interfaces de entrada, y la creación del código inicial de lógica de negocio.

Лицензия

Лицензия

Категории

Категории

Данные
Группа

Группа

com.huemulsolutions.bigdata
Идентификатор

Идентификатор

huemul-bigdatagovernance
Последняя версия

Последняя версия

2.6.3
Дата

Дата

Тип

Тип

jar
Описание

Описание

HuemulSolutions - BigDataGovernance
Enable full data quality and data lineage for BigData Projects. Huemul BigDataGovernance, es una librería que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una **estrategia corporativa de dato único**, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla. Facilita la configuración y lectura de las interfaces de entrada, permitiendo ajustar los parámetros de lectura en esquemas altamente cambientes, crea trazabilidad de las interfaces con las tablas en forma automática, y almacena los diccionarios de datos en un repositorio central. Finalmente, también automatiza la generación de código a partir de las definiciones de las interfaces de entrada, y la creación del código inicial de lógica de negocio.
Ссылка на сайт

Ссылка на сайт

http://www.HuemulSolutions.com
Система контроля версий

Система контроля версий

https://github.com/HuemulSolutions/huemul-bigdatagovernance

Скачать huemul-bigdatagovernance

Как подключить последнюю версию

<!-- https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/ -->
<dependency>
    <groupId>com.huemulsolutions.bigdata</groupId>
    <artifactId>huemul-bigdatagovernance</artifactId>
    <version>2.6.3</version>
</dependency>
// https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/
implementation 'com.huemulsolutions.bigdata:huemul-bigdatagovernance:2.6.3'
// https://jarcasting.com/artifacts/com.huemulsolutions.bigdata/huemul-bigdatagovernance/
implementation ("com.huemulsolutions.bigdata:huemul-bigdatagovernance:2.6.3")
'com.huemulsolutions.bigdata:huemul-bigdatagovernance:jar:2.6.3'
<dependency org="com.huemulsolutions.bigdata" name="huemul-bigdatagovernance" rev="2.6.3">
  <artifact name="huemul-bigdatagovernance" type="jar" />
</dependency>
@Grapes(
@Grab(group='com.huemulsolutions.bigdata', module='huemul-bigdatagovernance', version='2.6.3')
)
libraryDependencies += "com.huemulsolutions.bigdata" % "huemul-bigdatagovernance" % "2.6.3"
[com.huemulsolutions.bigdata/huemul-bigdatagovernance "2.6.3"]

Зависимости

compile (15)

Идентификатор библиотеки Тип Версия
com.huemulsolutions.bigdata : huemul-sql-decode jar 1.0
org.scala-lang : scala-library jar 2.11.8
org.apache.spark : spark-streaming_2.11 jar 2.3.3
org.apache.hive : hive-jdbc jar 2.3.4
org.apache.hbase.connectors.spark : hbase-spark jar 1.0.0
org.apache.hbase : hbase-client jar 1.1.2
org.apache.hbase : hbase-common jar 1.1.2
org.apache.hbase : hbase-protocol jar 1.1.2
org.apache.hbase : hbase-annotations jar 1.1.2
org.apache.hbase : hbase-hadoop-compat jar 1.1.2
org.apache.hbase : hbase-hadoop2-compat jar 1.1.2
com.hortonworks.hive » hive-warehouse-connector_2.11 jar 1.0.0.3.1.0.0-78
org.apache.tika : tika-core jar 1.23
org.apache.tika : tika-parsers jar 1.23
org.apache.tika : tika-xmp jar 1.23

provided (2)

Идентификатор библиотеки Тип Версия
org.apache.spark : spark-core_2.11 jar 2.3.3
org.apache.spark : spark-sql_2.11 jar 2.3.3

test (4)

Идентификатор библиотеки Тип Версия
junit : junit jar 4.13.1
org.specs2 : specs2-core_2.11 jar 3.7.2
org.specs2 : specs2-junit_2.11 jar 3.7.2
org.scalatest : scalatest_2.11 jar 3.0.0-M15

system (1)

Идентификатор библиотеки Тип Версия
jdk.tools » jdk.tools jar 1.8

Модули Проекта

Данный проект не имеет модулей.
com.huemulsolutions.bigdata

Huemul Solutions

Implementing BigData Solutions for developers

Версии библиотеки

Версия
2.6.3
2.6.2
2.6.1
2.6
2.5
2.4
2.3.1
2.3
2.2
2.1
2.0.2
2.0.1
2.0
1.4.1
1.4
1.3.1
1.3
1.2
1.1
1.0