Hace pocos días salió la esperada versión 2 de Apache Spark y como algunos de ustedes saben es un framework que ahora mismo atrae mucho mi atención y como no pudo ser de otra forma hice un pequeño proyecto donde quiero ir colocando ejemplos sencillos de Spark con las nuevas (y no tan nuevas) cosas de Spark.
Para empezar comentarles que yo todavía no he utilizado sbt sino por el contrario uso maven como herramienta de construcción de proyectos. He aquí los primeros cambios necesarios para trabajar con spark 2, las dependencias correspondientes a la versión (indicadas en el pom.xml).
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>2.0.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>2.0.0</version> </dependency> ... |
Entre los nuevos cambios de spark está que el punto de entrada para los programas spark ya no serán el hiveContext o sqlContext sino que han sido subsumidas en una clase llamada SparkSession. Las clases HiveContext y SQLContext se han mantenido para proporcionar retrocompatibilidad. Ejemplo
|
1 2 3 4 5 6 7 8 |
// En spark v1.6.2 <= lo hubieramos hecho asi // val conf = new SparkConf().setMaster("local").setAppName("Simple Application") // val sc = new SparkContext(conf) // val sqlContext = new org.apache.spark.sql.SQLContext(sc) val sparkSession = SparkSession.builder. master("local") .appName("Simple Application") .getOrCreate() |
Con el SparkSession haremos lo mismo que hacíamos con sqlContext por ejemplo obtener un Dataset
|
1 2 |
//obtenemos el dataset de tipo People val ds = sparkSession.read.json("src/main/resources/people.json").as[People] |
O por el contrario obtener un DataFrame
|
1 2 3 4 5 |
val df = sparkSession.read.format("com.databricks.spark.csv") .format("com.databricks.spark.csv") .option("header", "true") // Use first line of all files as header .option("inferSchema", "true") // Automatically infer data types .load("src/main/resources/datos.csv") |
Otro punto importante ha sido la unificación de las clases Dataset y DataFrame (para Java y Scala) a partir de la versión 2.¿Qué significa esto? pues sencillamente que ahora solo existirá la clase Dataset, pero proporcionará la misma funcionalidad que nos daba la clase DataFrame, de hecho basta con comparar la API en la versión 1.6.2 y 2.0.0 y ver como los métodos de la clase DataFrame están ahora incluidos en la clase Dataset.
Dataset y Dataframe en Spark 2
Aquellos interesados en leer más acerca de Dataset y Dataframe visitar este link
Estos no son los únicos cambios en Spark, de hechos son muchos más, que se corresponden a optimizaciones a nivel de compilación y ejecución así como también a un nuevo parseador SQL, para leer mas acerca de lo nuevo en Spark 2 clic aquí.
Aqui les dejo en enlace al proyecto donde ire añadiendo clases y seguiré probando mas cosas nuevas de Spark.