Buenas otra vez

Hoy vengo con una serie de pequeños artículos sobre HP-Vertica , una base de datos columnar  y orientada a análisis de datos, para mi una de las mejores sino la mejor dentro de este ambito.

Hace ya algún tiempo hicimos un pequeño taller de vertica con la ayuda de la gente de HP, a través del grupo de meetup de pentaho.

Uno de los principales problemas que tenemos con vertica es poder ver estado de cluster .

CLI Vertica

Primero necesitamos saber que nodo esta caido y podemos hacerlo de dos maneras mediante CLI

admintools -t list_allnodes | grep UP
su - dbadmin -c "/opt/vertica/bin/admintools -t view_cluster"

O con sql

SELECT node_name, node_address, node_state FROM nodes WHERE node_state = 'UP|DOWN'

Una vez sabemos  que no esta caído ,entramos por ssh y restauramos el nodo que se ha caido

./adminTools -t restart_node -d <database name> -p <password> -F -s <Node IP Address>

Este proceso va a tardar un rato considerable y aunque te pregunte constantemente va a ir restaurando el cluster por detras. Si quieres ver el error o lo que esta haciendo  en cada momento puedes hacer ver el log de arranque.

tail -f catalog-path/database-name/v_database-name_node_catalog/startup.log

Este seria el el fichero que genera

{ "node" : "v_cdmt0_node0001", "stage" : "Database Halted", "text" : Data consistency problems found; Check that all file systems are properly mounted. Also, the –force option can be used to delete corrupted data. "timestamp" : "2016-07-31 18:17:04.122" }

Vertica tiene otros proceso para sacar mas informaciòn de los que hablare en otro post.

 

 

 

By Pass Security Version Parte II

By Pass Security Version Parte II

Hoy os traigo la segunda versión de mi byPass

¿Que he cambiado?, pues básicamente que se pueda acceder a los cuadros de mando vía nombre o TAG y no posición como hasta ahora , esto evita que si elimino algún cuadro de mando o alguna URL no afecte a nada de nuestro sistema.

Ha raíz de mi anterior post tengo que decir que hay muchas soluciones para esto aquí os dejo algunas que siempre son de utilidad:

Además he dado una vuelta mas de tuerca a la hora de mejorar el rendimiento de la búsqueda  de los tokens  ahora se guardan  en una tabla hash donde la clave es el token y el value es el DAO con toda la información, eso hace que la búsqueda sea lineal O(l)  y con un rendimiento mucho mejor, como puedes ver en el diagrama de workflow.

blank-flowchart-new-page
workflow

Os adjunto el diagrama UML basico (que esto ya no se lleva) de como se comunica todo y para que podáis ver por que he usado el patron Singelton a la hora desarrollar . Su intención consiste en garantizar que una clase sólo tenga una instancia y proporcionar un punto de acceso global a ella.

UML DAo and Singelton
UML DAo and Singelton

La instalación es igual que la anterior , como bien dice Juanjo en su blog si aun quieres tener mas seguridad puedes añadir un proxy ya sea a nivel del servidor web (ngix) o si tu arquitectura es mas complicada yo te recomiendo que pases a un sistema de DMZ y tengas un proxy-cache (Configuración de Filtros de Contenido) donde delegues esa información y trabajo. Con esto lo que conseguimos es que una vez el usuario ha hecho session no pueda acceder a mas cosas que las que ya el servidor proxy tenga configurado, además es muy buena idea que el usuario que le demos en pentaho sea lo mas restrictivo posible.

flow

Buenas a todos,

El otro día en el trabajo me tuve que pegar para que PDI pueda conectarse a MySQL mediante SSL . No hay que decir que MySQL y SSL en la misma frase es ya de por si es un dolor pero si sumamos a este PDI ya es una verdadera pasada.

Cuando queremos que MySQL se conecto mediante SSL, pues básicamente cuando queremos que el trafico entre ambos sea encriptado  pero no queremos montar IPSEC o VPN.

Al final y buscando y buscando encontré la solución y  la verdad es que creo que me quedo muy elegante hay que modificar spoon pero bueno es lo que hay.

Generación del  JKS (Java Key Store)

Lo primero de todo es generar el Java Key Store a partir de los certificados y las claves del cliente con este comando:

openssl pkcs12 -export -inkey client-key.pem -in client-cert.pem -out client.packe

Después con el paquete generado generamos el Java Key Store, tenemos que tener en cuenta  que el password ha de ser el mismo. Y ya tenemos todo lo necesario para la conexion.

keytool -importkeystore -deststorepass password -destkeypass password -destkeystore myKS.jks -srckeystore client.packet -srcstoretype PKCS12 -srcstorepass password -alias 1
keytool -importcert -alias mysqlCA -trustcacerts -file /root/ca-cert.pem -keystore myKS.jks

Configuración de Spoon

Ahora hay que añadir a spoon los parametros de la maquina virtual.


-Djavax.net.ssl.keyStore=path_to_keystore_file -Djavax.net.ssl.keyStorePassword=password -Djavax.net.ssl.trustStore=path_to_truststore_file -Djavax.net.ssl.trustStorePassword=password

Una vez hemos hecho esto lo que tenemos que hacer es indicar a spoon que la conexion es cifrada y para eso lo podemos hacer en dos sitios:

SimpleJNDI

En el fichero que esta en data-integration/simple-jndi/jdbc.properties

verifyServerCertificate=false&useSSL=true&requireSSL=true

Properties Spoon

En el la conexión , el menú de options añadimos esos mimso parametros

Backup y Restore en #Pentaho de forma facil

Backup y Restore en #Pentaho de forma facil

Siempre he tenido el mismo problema cuando tengo un proyecto en producción como coño hago un backup de todo. Y como hago la restauraciòn del mismo.

  • Usuario
  • Datasource
  • Cuadros de Mando
  • etc..

Muy poca gente sabe que pentaho te da una pequeña ayuda, lo que he hecho es crear un envoltorio al script para que nos sea mas facil usarlo.

-- sample the native call
./import-export.sh --restore --url=http://localhost:8080/pentaho --username=admin --password=password --file-path=/home/Downloads/backup.zip --overwrite=true --logfile=/temp/logfile.log
./import-export.sh --backup --url=http://localhost:8080/pentaho --username=admin - -password=password --file-path=/home/Downloads/backup.zip --logfile=/temp/logfile.log

Con este shell podemos crear facilmente backups de todo e incluso mandarlo por rsync a otros host. Tambien tendremos la posibilidad de restaurar todo el sistema. Este shell no es valido o no esta pensado para un pentaho en cluster.

Como siempre comentarios son muy apreciado

Encoding… va encoding viene …

Hola a todos,

Hoy os quería enseñar como tratar desde una ETL el típico error de los encoding que siempre esta ahi y siempre es un coñazo de tratar, este post va dedicado a mi amigo @Caranthol.

 

Lo primero es via shell desde un trabajo lo que hacemos es llamar a este conjunto de comandos del sistema (linux)

file --mime-encoding filename or file -bi filename
iconv -f old_encoding -t new_encoding filename

Si tenemos mas de un fichero lo que podemos hacer es

for file in *.txt; do
    iconv -f ascii -t utf-8 "$file" -o "${file%.txt}.utf8.txt"
done

La otra opción es llamar al pase Select values desde una transformación y en la pestaña metada elegir el encodig que queremos

HellKichen

Hola a todos,

Os presento uno de los proyectos en los que estoy trabajando  y es un wrapper a kichen, pan y espero que en poco tiempo a carter.

¿Pero para que sirve?

600x380_hells_kitchen_logo-bigNormalmente lanzo mucho procesos diferentes algunos son job otras son transformaciones y es un poco coñazo el tema de configurar la ruta donde esta pdi además del nivel del login así como la  ruta donde queremos guardar ese log,etc.. .

Por eso he creado este programa simple y facil [link] like a water.

Al arrancar este programa crea un fichero junto a .kettle.properties  que se llama hellkichen.properties donde ponemos la ruta a pdi y la ruta donde se van a guardar los logs asi de simple.

Además los log se van a ir rotando  con el formato  nombre_de_transformacion_%d%m%Y_%H%M%S.log.

Toda ayuda es bien recibida dentro de poco habra una version en python.