Convertir PySpark DataFrame a JSON

Tema de contenidos:

• PySpark DataFrame a JSON usando To_json() con ToPandas()
• PySpark DataFrame a JSON usando ToJSON()
• PySpark DataFrame a JSON usando Write.json()

Consideremos un PySpark DataFrame simple en todos los ejemplos y convirtámoslo en JSON usando las funciones mencionadas.

Módulo requerido:

Instale la biblioteca PySpark en su entorno si aún no está instalada. Puede consultar el siguiente comando para instalarlo:

PySpark DataFrame a JSON usando To_json() con ToPandas()

El método to_json() está disponible en el módulo de Pandas que convierte Pandas DataFrame a JSON. Podemos utilizar este método si convertimos nuestro PySpark DataFrame a Pandas DataFrame. Para convertir PySpark DataFrame a Pandas DataFrame, se utiliza el método toPandas(). Veamos la sintaxis de to_json() junto con sus parámetros.

Sintaxis:

1. Orient se usa para mostrar el JSON convertido en el formato deseado. Toma 'registros', 'tabla', 'valores', 'columnas', 'índice', 'dividir'.
2. El índice se usa para incluir/eliminar el índice de la cadena JSON convertida. Si se establece en 'Verdadero', se muestran los índices. De lo contrario, los índices no se mostrarán si la orientación es 'dividida' o 'tabla'.

Ejemplo 1: Orientar como 'Registros'

Cree un PySpark DataFrame 'skills_df' con 3 filas y 4 columnas. Convierta este DataFrame a JSON especificando el parámetro de orientación como 'registros'.

Producción:

Podemos ver que PySpark DataFrame se convierte a la matriz JSON con un diccionario de valores. Aquí, las claves representan el nombre de la columna y el valor representa el valor de la fila/celda en PySpark DataFrame.

Ejemplo 2: Orientar como 'Dividir'

El formato JSON que devuelve la orientación 'dividida' incluye los nombres de las columnas que tienen una lista de columnas, una lista de índices y una lista de datos. El siguiente es el formato del oriente 'dividido'.

Producción:

Ejemplo 3: Orientar como 'Índice'

Aquí, cada fila de PySpark DataFrame se retira en forma de diccionario con la clave como nombre de columna. Para cada diccionario, la posición del índice se especifica como una clave.

Producción:

Ejemplo 4: Oriente como 'Columnas'

Las columnas son la clave para cada registro. Cada columna contiene un diccionario que toma los valores de la columna con números de índice.

Producción:

Ejemplo 5: Orientar como “Valores”

Si solo necesita los valores en JSON, puede optar por la orientación de 'valores'. Muestra cada fila en una lista. Finalmente, todas las listas se almacenan en una lista. Este JSON es del tipo de lista anidada.

Producción:

Ejemplo 6: Orientar como “Mesa”

La orientación de la 'tabla' devuelve el JSON que incluye el esquema con los nombres de los campos junto con los tipos de datos de las columnas, el índice como clave principal y la versión de Pandas. Los nombres de columna con valores se muestran como 'datos'.

Producción:

Ejemplo 7: con parámetro de índice

Primero, pasamos el parámetro de índice configurándolo en 'Verdadero'. Verá para cada valor de columna que la posición del índice se devuelve como una clave en un diccionario.

En la segunda salida, solo se devuelven los nombres de las columnas ('columnas') y los registros ('datos') sin las posiciones del índice, ya que el índice se establece en 'Falso'.

Producción:

PySpark DataFrame a JSON usando ToJSON()

El método toJSON() se usa para convertir PySpark DataFrame en un objeto JSON. Básicamente, devuelve una cadena JSON que está rodeada por una lista. El [‘{columna:valor,…}’,…. ] es el formato que devuelve esta función. Aquí, cada fila del PySpark DataFrame se devuelve como un diccionario con el nombre de la columna como clave.

Sintaxis:

Puede ser posible pasar parámetros como el índice, las etiquetas de las columnas y el tipo de datos.

Ejemplo:

Cree un PySpark DataFrame 'skills_df' con 5 filas y 4 columnas. Convierta este DataFrame a JSON usando el método toJSON().

Producción:

Hay 5 filas en PySpark DataFrame. Todas estas 5 filas se devuelven como un diccionario de cadenas que están separadas por comas.

PySpark DataFrame a JSON usando Write.json()

El método write.json() está disponible en PySpark, que escribe/guarda el PySpark DataFrame en un archivo JSON. Toma el nombre del archivo/ruta como parámetro. Básicamente, devuelve el JSON en varios archivos (archivos particionados). Para unirlos todos en un solo archivo, podemos usar el método coalesce().

Sintaxis:

1. Modo de agregar – dataframe_object.write.mode('append').json('file_name')
2. Modo de sobrescritura – dataframe_object.write.mode('overwrite').json('file_name')

Puede ser posible agregar/sobrescribir el JSON existente. Usando write.mode (), podemos agregar los datos pasando 'agregar' o sobrescribir los datos JSON existentes pasando 'sobrescribir' a esta función.

Ejemplo 1:

Cree un PySpark DataFrame 'skills_df' con 3 filas y 4 columnas. Escriba este DataFrame en JSON.

Archivo JSON:

Podemos ver que la carpeta skills_data incluye los datos JSON particionados.

Abramos el archivo JSON. Podemos ver que todas las filas del PySpark DataFrame se convierten en JSON.

Hay 5 filas en PySpark DataFrame. Todas estas 5 filas se devuelven como un diccionario de cadenas que están separadas por comas.

Ejemplo 2:

Cree un PySpark DataFrame 'skills2_df' con una fila. Agregue una fila al archivo JSON anterior especificando el modo como 'agregar'.

Archivo JSON:

Podemos ver los archivos JSON particionados. El primer archivo contiene los primeros registros de DataFrame y el segundo archivo contiene el segundo registro de DataFrame.

Conclusión

Hay tres formas diferentes de convertir PySpark DataFrame a JSON. Primero, discutimos el método to_json() que convierte a JSON al convertir PySpark DataFrame en Pandas DataFrame con diferentes ejemplos considerando diferentes parámetros. A continuación, utilizamos el método toJSON(). Por último, aprendimos a usar la función write.json() para escribir PySpark DataFrame en JSON. Con esta función es posible agregar y sobrescribir.