Uso del SHOW PARTITIONS en Spark

Seguro que en alguna ocasión nos ha tocado hacer un SHOW PARTITIONS de una tabla HIVE particionada, con la finalidad (para quien no lo sepa) de obtener/visualizar las particiones existentes de los datos. Hasta aquí nada nuevo, pero lo que quiero mostrarles en esta oportunidad es un método (nada espectacular) que me ha servido mucho donde obtengo las particiones de una tabla (Hive) y los usos que le he dado al método, entre otras con grandes ventajas en performance.

Como seguramente muchos de ustedes saben si invocamos un SHOW PARTITIONS en spark por ejemplo en la spark-shell, esta nos devuelve un DataFrame con una única columna, como el siguiente ejemplo:

Con mi método lo que hago es transformar el DataFrame original en uno formateado donde cada variable de particionado es una columna. A continuación el método y el que sería el DataFrame resultante

Ahora ustedes se preguntarán y que hay de fascinante o interesante en este método. La verdad que el método en sí aporta poco es sencillamente una simple transformación pero para mí la magia reside en para que lo utilizo y es lo que les quiero contar.

Imaginen que la tabla que posee las 5 variables de partición (ni discutamos si es acertado poseer 5 variables de particionamiento) posee un sin fin de particiones y que a su vez para una misma ciudad en una misma fecha hay varias particiones por hora (como aparece en el ejemplo para la ciudad de Valencia) y cada partición a su vez tiene muchos registros. Con este supuesto si quisiéramos hacer una consulta para obtener la máxima partición (la más reciente) para una fecha, ciudad, estado y país en especifico podríamos llegar a tener problemas de TimeOut o SocketTimeOut ya que:
* El cluster se vería exigido intentando trabajar sobre las particiones pertinentes (debido al gran número de particiones).
* Una vez obtenidas las particiones cargar los datos desde HDFS y recorrer de forma innecesaria un conjunto de datos requiriendo mucho más memoria de la necesaria.

¿Recorrer de forma innecesaria?
Si, ya que recorreríamos un conjunto de registros donde muchos de esto compartirán el valor de la columna «hora» (partición) y apegándonoslos al ejemplo de arriba (la ciudad de Valencia) realmente los valores posibles serían 2:
* 1700
* 1750

Solución: Pues al obtener el DataFrame de particiones, si posteriormente filtramos por país, estado, ciudad y día solo nos quedarían 2 registros para el campo hora y sencillamente tendría que hallar el máximo valor de 2 registros en vez de tener que cargar datos de HDFS e iterar sobre todos estos.

¿Mucha más memoria de la necesaria?
Si, ya que al hacer un SHOW PARTITIONS, nosotros interactuamos con el metatstore y los metadatos en vez de trabajar con todos los datos de HDFS con todo lo que eso implica en cuanto a latencia, debido a la necesidad de ir a disco, etc.

¿Existe alguna otra ventaja de trabajar con el metastore?
Si, por ejemplo para hallar la máxima partición, trabajando únicamente con el DataFrame de particiones y una vez hallada la partición idónea, digamos que la más reciente, entonces construyo la consulta (muy especifica) indicando los valores de la partición deseada evitando esos errores de TimeOut haciendo uso eficiente de los recursos. De hecho yo lo que hecho es construir un WHERE dinámico (quizás lo comparto en la próxima entrada) a partir del DataFrame de particiones filtrado.

¿Se te ocurre otra ventaja de utilizar un método como este e interactuar con el metastore? ¿Habías hecho algo similar para tener mejoras de rendimiento y uso eficiente de recursos?

Espero que les sea de utilidad.

Aprendizaje en tiempo de cuarentena

Ya llevamos más de un mes en cuarentena, donde las alegrías ahora se basan en pequeñas cosas, cosas simples, básicas, que seguramente siempre les hemos dado importancia pero sin ser algo que este de forma permanente en nuestra mente como en mi caso, por ejemplo les confieso que mis alegrías son: Que sigamos todos sanos (mi mamá, mi esposa que es la más expuesta, mis hijas, mi hermano y el resto de mi familia y amigos), el ir a botar la basura (¡en serio!) y poder contar un poquito de tiempo para leer y hacer cosas en el ordenador.

De lo último es que quiero compartirles un poco. El año pasado fui durante un pequeño periodo autónomo y en dicho periodo trabajé con un grupo de gente de distintos lugares del mundo que estaban diseñando e implementando una nueva cryptomoneda en esa aventura una de las tareas a las que me dediqué fue en realizar un blockchain explorer, para ello me decanté por elixir y phoenix solo conté con 1 mes para llevar a cabo esa prueba de concepto y en dicho periodo pude hacer una versión alfa (muy muy cruda) de un blockchain explorer (está en mi GitHub) y realmente después de 4 años volví a disfrutar del desarrollo Web, debido a la premura del proyecto no hubo oportunidad de seguir desarrollando el explorador y tuvimos que acudir a Github y reutilizar uno existente (elaborado con NodeJS). La sintaxis del lenguaje y las características del framework (elaborado con cierta similitud a RoR) resultaron en un mundo totalmente nuevo para mí pero de nuevo insisto disfruté ese mes. Ahora bien de vuelta al 2020, al ocurrir todo esto de la cuarentena pasadas las primera y segunda semana me empecé a dar cuenta que contaba con un poquito de más tiempo de lo habitual (o será mejor decir que me falta menos tiempo que de constumbre?) teniendo oportunidad de leer algunos artículos que tenía pendientes, charlas, etc. y fue entonces cuando me plantee ¿Y si retomo de nuevo la lectura de los libros de phoenix y elixir? y si culmino el blockchain explorer? y si me hago una API en elixir/phoenix con varios nodos y me hago un benchmark con spring-boot, quarkus y otros. Es así que hace quizás unas 2 semanas empecé de nuevo a leer de phoenix y a hacer todos los ejemplos del libro, a ver vídeos de su nuevo componente liveView (no dejen de buscarlo por Internet se ve fantástico, una especie de Ajax mediante websockets, sin tener uno que hacer el javascript), también estuve investigando acerca de herramientas de maquetación Web y empecé a practicar un poco con Adobe XD para conocerlo y darle un vistazo a otras herramientas como Overflow (esta particularmente me encantó y puede ser un complemento de Adobe XD), en fin, ha sido un mes y medio difícil y para muchos incluso triste y trágico, pero los informáticos debemos agradecer que muchos de nosotros hemos podido seguir trabajando desde nuestros hogares, pero sobre todo lo que quiero transmitirles es que no debemos dejar de investigar, de leer, de probar, dentro de todo lo malo aprovechar este tiempo para seguir creciendo a nivel personal y profesional aprendiendo nuevas herramientas, nuevos idiomas, nuevos lenguajes de programación, nuevas metodologías, preparar una certificación, aprovechando que incluso muchas plataformas están ofreciendo cursos gratuitos, lease coursera, edx, Udacity, Udemy, pragmaticstudio.com (curso de phoenix liveView) entre muchas otras, pero recuerden, «crecer», seguramente tomará un tiempo para que volvamos a ser los mismos (sino es que esto genere un cambio para siempre en nosotros), pero también trabajemos en no ser los mismos (profesionalmente hablando) y volver siendo perfiles más completos, mas profesionales y muy muy muy por encima de todos más humanos.

Spark Scala con Maven en IntelliJ

Este es un post que la verdad no había tenido en mente crear pero últimamente se me ha convertido en una necesidad y la verdad he disfrutado hacer y es que en estos ya casi 5 años involucrado en temas relacionados con Big Data y la nube la verdad es que he podido notar como construir un proyecto Spark desde cero se convierte en algo fácil pero netamente basado en copiar y pegar de proyectos anteriores, pero … y qué sucede cuando no hay un proyecto anterior jejeje, pero no es el único caso y qué sucede con aquellos que están aprendiendo, es cuestión de indagar por Internet y encuentras 30 formas distintas de armar un proyecto desde cero de Spark con Scala con Maven y en un IDE en este caso IntelliJ, pero cual es la idónea, cual es la que verdaderamente funciona.

Pues he decidido crear un esqueleto de proyecto (el cual espero poder ir evolucionando y mejorarlo) que seguramente no es la mejor pero desde mi humilde punto de vista es funcional.

Configurar el IDE

Lo primero antes que nada es instalar el jsdk (1.8 como mínimo), luego en la instalación o inmediatamente después es asegurarnos de contar con los plugins de Maven y Scala, para ello en la ventana de inicio vamos a los plugins.

Buscamos el plugin de Scala para verificar que este instalado si no lo está lo instalamos y luego en la misma ventana en la parte superior junto a Marketplace hacemos clic en installed y verificamos que el plugin de maven por defecto este habilitado.

Creamos el proyecto

Seleccionamos la opción de crear un nuevo proyecto.

Ventana de inicio de IntelliJ

Acto seguido seleccionamos la opción de proyecto maven y marcamos la opción de Create from archetype. Seleccionamos el archetype net.alchim31.maven:scala-archetype-simple y pulsamos el botón «Next». Si el archetype no existe pulsamos el botón de Añadir Archetype (Add Archetype) cumplimentamos la información con los siguientes datos:
GroupId: net.alchim31.maven
ArtifactId: scala-archetype-simple
Version: 1.7

Una vez añadido lo seleccionamos y como habíamos indicado antes pulsamos el botón «Next».

Indicamos el archetype en caso de no estar presente en la lista
Lista de archetypes para crear el proyecto

Inmediatamente después le daremos nombre a nuestro proyecto y si queremos ser más específicos indicamos el GroupId, ArtifactId y versión de nuestro proyecto (OJO esto último es opcional), pulsamos «Next» y por último en la ventana resumen pulsamos «Finish».

Configuración de nuestro artifact

Lo primero que deberemos hacer para que nos facilite la tarea será habilitar la autoimportación de las dependencias maven como señalamos en la imagen.

Habilitamos la autoimportación de dependencias

El construir el proyecto a partir de un archetype (arquetipo) maven consiste en armar el esqueleto de un proyecto a partir de una plantilla definiendo una estructura minima por defecto, por lo cual veremos un fichero pom.xml (gestión de dependencias maven) con algunas dependencias y una estructura de carpetas para el código fuente y pruebas unitarias, con ficheros incluidos.

Estructura del proyecto reciéntame creado

Aprovechamos de dar un vistazo a la clase App y a las pruebas unitarias que por defecto nos añade al proyecto e incluso podemos compilar el proyecto para contrastar que todo está de maravilla y para ello solamente necesitamos hacer clic en la pestaña maven ubicado en la parte derecha, donde aparece el nombre de nuestro proyecto desplegar lifecycle y hacer doble clic en compile y esto iniciará el proceso de compilación terminando exitosamente.

Añadimos dependencias

Ya estamos llegando al final, ahora lo que haremos será añadir al fichero pom.xml las dependencias spark que utilizaremos para este ejemplo. Empezaremos por editar las propiedades quedando estas así:

Añadimos las dependencias de spark al conjunto de dependencias existentes

Por último modificaremos nuestra clase App quedando esta así:

Para de nuevo volver a compilar el proyecto, que deberá culminar exitosamente.

Ejecución

La forma que indicaremos para la ejecución de los jobs desde IntelliJ no es la mejor pero es una forma sencilla y funcional para probar cosas y sobre todo para quien comienza a hacer tests sin necesidad de empaquetar y crear un jar y desplegarlo en una máquina virtual o en un cluster. ¿Cuál sería entonces la mejor forma? A mi modo de ver las cosas la mejor forma sería mediante prueba unitarias y de integración donde podamos probar todo el job de inicio a fin y para explicarles como ya tengo en mente preparar otro post paso a paso indicando como hacerlo y las herramientas para lograrlo. Continuando con la configuración de la ejecución, si sencillamente con botón derecho del ratón hacemos clic en Run ‘App’ nos arrojará el error.

Exception in thread «main» java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
at com.josedeveloper.App$.main(App.scala:13)
at com.josedeveloper.App.main(App.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:583)
at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
… 2 more

Error ejecutando la clase App

El error se debe a que no encuentra las clases con las que fue compilado previamente y eso se debe a que las dependencias de spark las hemos añadido con el alcance «provided».
¿Por qué provided? Debido a que en un entorno empresarial esas dependencias no debemos agregarlas ya que las provee la infraestructura Big Data de la empresa.

Entonces para solventar el error sencillamente debemos ir al menu «Run» y hacemos clic en «Edit Configurations» y allí marcamos la opción de incluir dependencias provided (Include dependencies with «Provided» scope).

Marcamos la opción que incluya las dependencias con alcance «Provided»

Hecho eso volvemos a ejecutar la clase App y veremos como si se logra ejecutar la aplicación. Sin más espero que les haya servido de ayuda y les comento que mi próximo paso será crear un archetype (arquetipo) y a su vez explicarles como hacerlo para que cada quien pueda construir uno acorde con las necesidades de su organización y así dotamos de más profesionalidad y agilidad nuestro trabajo y evitamos el copiar+pegar donde en ocasiones terminamos añadiendo mas dependencias y plugins innecesarios así como también arrastrando problemas y errores (de haberlos).

Aquí les dejo el video

Repo GitHub

Receta para aprobar AWS Certified Big Data Specialty

AWS Certified Big Data Specialty

Hola a todos, muchísimo tiempo sin escribir y no es que no quiera sino que la vida con hijos lo convierte en una tarea en mi caso algo difícil de compaginar. Hoy después de año y medio quiero compartir mi receta para aprobar la certificación AWS Certified Big Data – Specialty.

No les voy a mentir es una certificación complicada quizás un poco más complicada que la AWS Certified Solution Architect – Associate pero lejos de ser imposible, su complejidad desde mi punto de vista radica en que hay que tener un conocimiento amplio no solo en los servicios de AWS sino de frameworks y herramientas utilizadas hoy en día en Big Data.

La AWS Certified Big Data – Specialty es una certificación que puede tomarse de buenas a primeras, es decir, no tiene como requisito el haber aprobado previamente alguna otra certificación aunque desde la misma página de la certificación nos hacen unas sugerencias que desde mi punto de vista son con razón y son las siguientes y cito:

El examen de certificación dura 170 minutos y tiene un costo de 300$ y está disponible únicamente en ingles, japonés, coreano y chino.

Vamos al gramo ¿cómo preparé el examen? Bueno para esto compré 2 cursos ambos muy buenos (excelentes) y amplios y abarcan diría que más de un 90% del contenido a evaluar y casi todos los servicios de amazon, quizás queda alguno por fuera como por ejemplo Storage Gateway, Cloudfront, Elastic Load Balancer, EC2 pero es aquí donde toma relevancia el haber aprobado previamente otra certificación lo cual nos «aseguraría» tener conocimientos en esos otros servicios. Los cursos en cuestión son:

También hice algún curso de la página de aws.traning donde desde AWS nos plantean distintos learning path (caminos de aprendizaje?)

AWS Certified Big Data - Specialty
AWS Certified Big Data – Specialty Learning Path

Otra cosa que hice fue redactar mi propio material y para ello revise las F.A.Q. de todos los servicios relacionados con la certificación y los limites y con toda esa información redacte mi chuleta (utilicé evernote) la cual iba enriqueciendo mediante aspectos importantes que veía en los cursos antes indicados y de interrogantes que me iba planteando en el camino y que iba dándole solución luego al comprobarlo de forma practica o investigar en la misma documentación de AWS. ¿Qué servicios mirar? les diría que los principales son: Redshift, EMR, Kinesis (streams, firehose y analytics), DynamoDB, S3, Glacier, Snowball, RDS, DMS, Machine Learning, SageMaker, Athena, Elasticsearch service, IoT, CloudTrial, CloudWatch, Lambda y Glue. Además de estos puede que salgan preguntas que involucren SQS, SNS, EC2 (tipos de instancias), Storage Gateway, Direct Connect, rekognition, polly y lex.

También aproveche de ver varios vídeos desde los canales de youtube:

Lo interesante de ambos canales es que plantean solución a distintos escenarios mediante la combinación y uso de distintos servicios de AWS lo que nos permite tener una perspectiva real de como afrontar e integrar muchos de estos servicios, casos de uso, buenas practicas entre otras cosas y el último de los canales también posee los vídeos de las sesiones re:Invent de los años 2017, 2018 y aunque alguno de los videos puede llegar a durar 1 hora, pues a mí que lo que mas me hace falta es el tiempo lo que hacía era verlos a velocidad de 1.25X (esta técnica también la aplicaba para ver los vídeos de Udemy y acloud.guru).

Hice el test de 10 preguntas de la certificación que se puede encontrar en el siguiente enlace. De antemano les digo que no se dejen intimidar por este examen, estas 10 preguntas desde mi punto de vista son muy difíciles y la realidad es que la mayoría de preguntas en el examen de certificación ni son tan difíciles ni tan largas. Sin embargo esto me sirvió para profundizar en cuanto a contenidos y sobre todo a plantear una estrategia de cara al examen, la cual se las comentaré más adelante.

Les debo confesar que las preguntas de ejemplo me dejaron un poco tocado así que compre los test prácticos de Whizlabs. Hice el test gratuito y me decidí a comprarlo definitivamente.

¿Cuál fue mi estrategia?
Mi estrategia fue la siguiente. Practicando con los 3 tests de Whizlabs, me propuse intentar resolver las 65 preguntas en un plazo de 60 minutos, es decir, daba una lectura muy rápida a las preguntas y daba una respuesta, de esta manera me aseguraba que todas las preguntas fueran contestadas (el examen no tiene factor de corrección) y todas aquellas preguntas donde me quedara duda (casi todas) las marcaba para su posterior revisión, de esta forma logré poder dedicar mucho tiempo a la revisión de las preguntas.

Finalmente comentarles que el resultado fue positivo, obtuve un 74% en la prueba y con este resultado mi premio la certificación, pero lo más valioso es todo lo aprendido en el camino, ahora mismo conozco muchos de los servicios de amazon y he trasteado con ellos y por supuesto tengo una idea «clara» de como integrarlos para dar soluciones.

TIP final: Existe la opción de obtener 30 minutos más para el examen y consiste en solicitar «Request Exam Accommodations» al programar un examen al no ser el inglés tu lengua materna. He aquí un enlace de como hacerlo.

Espero que mi receta les ayude a conseguir el objetivo de aprobar la certificación y para aquellos que dudan en afrontar este reto, que sepan que es un objetivo alcanzable y que no solo les llevará a aprender mucho sino que desde el punto de vista curricular les aportara valor, tanto es así que existe un grupo de LinkedIn de únicamente personas certificadas por lo cual esos perfiles obtienen mas visibilidad.

Entonces ¿te animas a presentarla? y tu que ya presentaste cuéntanos cual fue tu receta para aprobar la certificación

Añadiendo Plugin WordPress de Polly

Como algunos de ustedes ya saben soy un seguidor de AWS e intento seguir el lanzamiento de nuevos servicios o las mejoras que hacen de sus servicios. De hecho este blog está hospedado por lightsail, el dominio esta gestionado por route53 y no descarto en el futuro añadir su CDN (cloudfront), es decir, no diré que soy un evangelizador (o quizás uno de los buenos) pero si un admirador de toda esta infraestructura.

En la entrada de hoy lo que quiero compartir con ustedes es un nuevo plugin de wordpress de un servicio de AWS llamado Polly, el anuncio ocurrió hace solo par de semanas y aquí les dejo el enlace. Polly para quien no lo sabe es un servicio que convierte texto en habla, y el habla lo realiza en distintos idiomas. La primera vez que supe de este servicio fue al estudiar para la certificación AWS Solution Arquitect ya que el curso de acloud.guru contaba con un episodio para estudiar haciendo uso de Alexa y Polly creando un conjunto de preguntas y respuestas.

No quiero alargarme mucho pero quiero compartirles el porqué me interesó hacer este post y el añadir el plugin a este blog. Al inicio de mi carrera profesional por allá por 2005 tuve la oportunidad de trabajar en un plan de capacitación de IBM donde la audiencia (el alumnado) era diversa, no solo en cuanto a conocimientos en informática, sino también en cuanto a instrucción, pero más importante aun es que este proyecto incluía personas de toda indole incluso con dispacidades y perdonen si sueno burdo, tonto o lo que sea pero quiero expresarles con toda sinceridad que esa experiencia para mí fue importante ya que conocí personas con discapacidades visuales tremendas, pero eso no fue impedimento para que aprendieran a programar en C, C++, Java, que aprendieran SQL, UML, entre otras tantas tecnologías y para mi fue una cachetada de realidad porque conocí gente con mucho potencial y con una dificultad añadida en su vida diaria pero que no les impidió alcanzar sus objetivos. Este plugin desde mi humilde punto de vista acerca un poco más la difusión de opiniones, tecnologías, información a personas que a veces lo tienen mas complicado, pero no quiero limitarme a eso ya que supongo que existen otras tecnologías que acercan la Web a usuarios con discapacidades, sino a que me imagino un futuro cercano donde podemos ir conduciendo el coche camino al trabajo y decir «Siri léeme mis feeds» (o sea, todas los blogs o noticias que sigo), o ni siquiera tenemos que estar al volante a lo mejor solo caminando haciendo ejercicio y decir «Alexa léeme el post XYZ» y esto por sencillo que parezca me emociona.

Con respecto al plugin de Polly para wordpress  en pocas palabras lo que hace es que una vez instalado (y configurado) al crear una entrada nueva al blog, este crea una nueva entrada en el servicio de AWS Polly y automáticamente añade al post un componente Web para la reproducción del contenido como un audio, audio que es todo el texto del post.

La instalación es muy sencilla solo basta con ir a Plugins->Añadir nuevo y allí escribir Polly y aparecerá el plugin

Amazon Polly for WordPress

Amazon Polly for WordPress

Es requisito indispensable para activarlo contar con php 5.6 como podrán ver el la página del plugin. La configuración es muy sencilla si estamos utilizando instancias EC2 solo basta con asignar un rol a la instancia con los permisos necesarios para escribir y leer de AWS Polly y en caso contrario pues una opción sería la creación de un usuario IAM al cual le otorguemos permisos necesarios para escribir y leer de AWS Polly (únicamente) utilizaríamos entonces para la configuración el access key y secret key de dicho usuario. Hecho esto ya solo queda configurar el idioma y la voz y ya estaríamos listos para utilizarlo.

Polly for wordpress setup

Polly for wordpress setup

Importante sobre el costo, los primeros 12 meses a partir de la primera solicitud de habla, entran dentro de la capa gratuita de 5 millones de caracteres al mes, ya luego pasa a 4$ por 1 millón de caracteres de solicitud. Aquí les dejo el enlace con mas detalle sobre la facturación -> https://aws.amazon.com/es/polly/pricing/

Por último invitarles a probar todos estos nuevos productos y servicios de AWS y de antemano pedir disculpas si no me he dirigido correctamente y si he dicho o expresado algo de la manera incorrecta, por favor no dudar en corregirme que tan pronto como pueda editaría esta entrada.