Buenos dias,

Os traigo  mi primera versión estable del lanzador de pentaho pdi (para linux)  con nuevas caracteristicas como la posibilidad de crear varios entornos (dev,preproducciòn o producción).¿Que nos da esta posibilidad?, pues varias cosas :

  1. Independencia de entornos
  2. Alto grado de Configuraciòn
    1. Version de PDI
    2. Configuracion de base de datos
  3. Manejo de errores y configuracion  humanreadable

Entre otras cosas ademas estar preparado para usar Azkaban.

Configuraciòn

Para ellos lo que tenemos crear el sistema de entornos , ¿que vamos a tener en esos entornos?, pues el kettle.properties, conexiones de base de datos y configuraciones especificas como por ejemplo memoria de java, por cada entorno:

Creamos los entornos

Lo primero es crear la carpeta enviroments donde meteremos las carpetas con cada uno de los entornos

 mkdir environments
 mkdir environments/live
 cd environments/live

Una vez que hemos creado la carpeta generamos el fichero de configuracion
de hellkitchen, es decir, donde queremos que este pdi (por si queremos usar distintas versiones) y donde guardar los logs.

touch hellkitchen.properties
kettle_path=/opt/data-integration/
kettle_log=/home/..../logs/

ahora vamos a generar el contenido de kettle (es el mismo que te hace la primera vez) , el kettle.properties y el jdbc.properties

mkdir .kettle
cd .kettle
touch kettle.properties
cd ..
ln -s kettle.properties .kettle/kettle.properties
touch jdbc.properties

Como ya hemos dicho  podemos generar tantos entornos como queremos .

hells_kitchen.sh --job=/.......kjb --log-name=log_test --environment=/environment/docker
hells_kitchen.sh --job=/.......kjb --log-name=log_test --environment=/environment/live
Ejecuciòn de distintos entornos

Ahora podemos ejecutar el mismo trabajo cargando distintas propiedades en distintos entornos, con esto podemos hacer cambios muy facilmente entre distintos entronos sin muchas complicaciones y con un alto grado de independencia.
Con el nuevo lanzador tenemos las siguientes opciones :
-t  o –time = time (Optional)
-j  o –job = job file (ktr or kjb)
-l  o –log = bug level in pdi:

  • Error: Only show errors
  • Nothing: Don’t show any output
  • Minimal: Only use minimal logging
  • Basic: This is the default basic logging level (Default)
  • Detailed: Give detailed logging output
  • Debug: For debugging purposes, very detailed output.
  • Rowlevel: Logging at a row level, this can generate a lot of data.
  • Stream: No log show the content (for Azkaban)

-e  o –enviroment = dynamic envairoment (Optional)
-p  o –pdi = path of pdi (Optinal)
-ln o — log = path of log folder (Optinal)-p  o –pdi = path of pdi (Optinal)
-v o –version = Version of PDI and HK
-lo o –lock = prevent running multiple instances of a kettle-job

Como siempre bug, errores o cualquier feedback es bien venido

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s