Lectura PySpark.Parquet()

En esta guía, nos centraremos principalmente en leer/cargar el archivo de parquet en PySpark DataFrame/SQL usando la función read.parquet() que está disponible en la clase pyspark.sql.DataFrameReader.

Tema de contenidos:

Obtener el archivo de parquet

Lea el archivo Parquet en el marco de datos PySpark

Lea el archivo Parquet en PySpark SQL

Esta función se utiliza para leer el archivo de parquet y cargarlo en PySpark DataFrame. Toma la ruta/nombre de archivo del archivo de parquet. Simplemente podemos usar la función read.parquet() ya que esta es la función genérica.

Sintaxis:

Veamos la sintaxis de read.parquet():

Primero, instale el módulo PySpark usando el comando pip:

Obtener el archivo de parquet

Para leer un archivo de parquet, necesita los datos en los que se genera el archivo de parquet a partir de esos datos. En esta parte, veremos cómo generar un archivo de parquet desde PySpark DataFrame.

Creemos un PySpark DataFrame con 5 registros y escribamos esto en el archivo de parquet 'industry_parquet'.

Producción:

Este es el DataFrame que contiene 5 registros.

Se crea un archivo de parquet para el DataFrame anterior. Aquí, nuestro nombre de archivo con una extensión es 'part-00000-ff70f69d-f1fb-4450-b4b4-dfd5a8d6c7ad-c000.snappy.parquet'. Usamos este archivo en todo el tutorial.

Lea el archivo Parquet en el marco de datos PySpark

Tenemos el archivo de parquet. Leamos este archivo usando la función read.parquet() y cárguelo en PySpark DataFrame.

Producción:

Mostramos el DataFrame usando el método show() que se creó a partir del archivo de parquet.

Consultas SQL con archivo Parquet

Después de cargar en DataFrame, es posible crear las tablas SQL y mostrar los datos que están presentes en DataFrame. Necesitamos crear una VISTA TEMPORAL y usar los comandos SQL para devolver los registros del DataFrame que se crea a partir del archivo de parquet.

Ejemplo 1:

Cree una vista temporal llamada 'Sectores' y use el comando SELECCIONAR para mostrar los registros en el marco de datos. Puedes referirte a esto tutorial que explica cómo crear una VISTA en Spark – SQL.

Producción:

Ejemplo 2:

Usando la VISTA anterior, escriba la consulta SQL:

1. Para mostrar todos los registros de los Sectores que pertenecen a “India”.
2. Para visualizar todos los registros de los Sectores con un empleado mayor a 100.

Producción:

Solo hay un registro con área que es 'India' y dos registros con empleados que es mayor a 100.

Lea el archivo Parquet en PySpark SQL

Primero, necesitamos crear una VISTA usando el comando CREAR. Usando la palabra clave 'ruta' dentro de la consulta SQL, podemos leer el archivo de parquet en Spark SQL. Después de la ruta, debemos especificar el nombre de archivo/ubicación del archivo.

Sintaxis:

Ejemplo 1:

Cree una vista temporal llamada 'Sector2' y lea el archivo de parquet en ella. Usando la función sql(), escriba la consulta de selección para mostrar todos los registros que están presentes en la vista.

Producción:

Ejemplo 2:

Use la VISTA anterior y escriba la consulta para mostrar todos los registros con la calificación de 'Hot' o 'Cool'.

Producción:

Hay tres registros con la calificación de 'Hot' o 'Cool'.

Conclusión

En PySpark, la función write.parquet() escribe el DataFrame en el archivo de parquet. La función read.parquet() lee el archivo de parquet en PySpark DataFrame o cualquier otra fuente de datos. Aprendimos cómo leer el archivo de parquet en PySpark DataFrame y en la tabla PySpark. Como parte de este tutorial, también discutimos cómo crear las tablas desde PySpark DataFrame y filtrar los datos usando la cláusula WHERE.