Dynamic number of processing engines in Pentaho

Amazing

Codeks Blog

So about 3 years ago this foxed me, and as it wasn’t particularly important at the time we went with a hard coded number of processing engines.  Randomly whilst driving through the beautiful British countryside last week i realised how simple the solution really is.  Here is what i was passing at the time… (Brocket hall, they do food i think!)

1flowers3

Whoa! hang on a minute, what am I on about – OK the scenario is this – common in a metadata driven system – you want to process all your data, and depending on some attribute send the data to one template or another. Fine.

BUT because we love metadata, and we love plugins, you don’t want to have to change the code just to add a brand new template.  Even if it would just be a copy and paste operation..

Concrete example? Sure. You’re processing signal data. You…

Ver la entrada original 129 palabras más

Vertica Docker Workshop

Hola a todos,

Voy a ir poniendo pequeños post de una formación de iniciación de vertica.

Hoy toca instalar un docker con un vertica y poder lanzar algunas consultas y lanzar la consola de administración.

Bien os dejo en este post

  1. Instalamos Docker (en mac no usar brew) [mac] [linux] [windows]
  2. Después lanzar el siguiente comando (docker run -ti -p 5433:5433  sowe/vertica)
  3. Instalaros o bien el VSQL lo podeis descargar de aqui o dbeaver  clientes (recomiendo usar vcli)
  4. vsql -h IP -U dbadmin -w vertica -p 5433
  5.  adjunto imagen.

Si queremos ejecutar o entrar dentro del docker y lanzar la consola de administración.

  1. docker exec -ti <container_id> bash
    1. docker ps | grep vertica
      4046a40a6585        sowe/vertica        “/docker-entrypoint.s”   21 minutes ago     Up 21 minutes       0.0.0.0:5433->5433/tcp   compassionate_yonath
    2. docker exec -ti 4046a40a6585 bash
    3. root@4046a40a6585:/# cd /opt/vertica/examples/VMart_Schema/
    4. su dbadmin
    5. dbadmin@4046a40a6585:/# cd /opt/vertica/bin/
    6. ./admintool
insert20image201560en_01_04
admin console

Ahora podemos lanzar el VSQL o VCLI o el DEABER y ver que schemas y bases de datos tenemos.

  • vcli -h localhost -U dbadmin
  • vsql -h localhost -U dbadmin

dbader

 

Vertica Materiales

Hola a todos,

Como ya sabréis el proximo  Martes es el primer taller de Vertica en Madrid. Como quiero que todo el mundo tenga instalado un maquina virtual con linux y a ser posible con la base de datos ya funcionando os he creado una maquina virtual de VirtualBox y un Docker para ello.

Por otro lado os comento que podeis  instalaros  el VSQL (cliente por linea de comandos) os lo adjunto.

 

Nos vemos Mañana.

Mondrian presente..¿futuro?

Hola a todos.

Una vez mas escribo sobre el futuro de una tecnología que para mi es una pasada y algo que siempre se usa y nadie le da la importancia que se merece que es el sistema OLAP. Desde hace ya algún tiempo se nota que pentaho no esta al 100% con mondrian y se oyen voces de sirena de que pentcuboaho esta pensando en cambiar este componente.

Para mi , esto es algo que se veia venir por que cada vez pentaho esta mas orientado en temas de big data y claro el sistema olap esta muy arraigado a las bases de datos transaccionales como mysql , etc.. y  ahí esta la guerra quitar o no este componente .

 

 La pregunta ¿es el fin del sistema olap?,¿pueden las bases de datos NoSQL dominar el merado?.Mi opinión es muy muy sencilla y clara no.Siendo realistas el 90% de los sistemas de BI o que alguno que pueda usar un sistema olap tiene como fuente de datos un base de datos relacional y para mi la solución no pasa por eliminar sino por complementar esta herramienta.

inspired_bei_mondrian_by_manshonyagger-d35kfou

Los únicos que están por decirlo así apostando por esto es la gente de saiku con mondrian 4. Creo que perder esto seria una pena ya que nos brida la posibilidad de tener MDX , cosa que es importante y potente.

 

 

Encoding… va encoding viene …

Hola a todos,

Hoy os quería enseñar como tratar desde una ETL el típico error de los encoding que siempre esta ahi y siempre es un coñazo de tratar, este post va dedicado a mi amigo @Caranthol.

 

Lo primero es via shell desde un trabajo lo que hacemos es llamar a este conjunto de comandos del sistema (linux)

file --mime-encoding filename or file -bi filename
iconv -f old_encoding -t new_encoding filename

Si tenemos mas de un fichero lo que podemos hacer es

for file in *.txt; do
    iconv -f ascii -t utf-8 "$file" -o "${file%.txt}.utf8.txt"
done

La otra opción es llamar al pase Select values desde una transformación y en la pestaña metada elegir el encodig que queremos