扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >用 Python 定义 Schema 并生成 Parquet 文件详情
  • 417

0
分享到

用 Python 定义 Schema 并生成 Parquet 文件详情

2024-04-02 19:04:59 417人浏览 薄情痞子

Python 官方文档：入门教程 => 点击学习

摘要

目录一、简单字段定义1、定义 Schema 并生成 Parquet 文件2、验证 Parquet 数据文件二、含嵌套字段定义1、验证 Parquet 数据文件 Java 和 pyth

Java 和 python 实现 Avro 转换成 Parquet 格式， chema 都是在 Avro 中定义的。这里要尝试的是如何定义 Parquet 的Schema, 然后据此填充数据并生成 Parquet 文件。

一、简单字段定义

1、定义 Schema 并生成 Parquet 文件


import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

# 定义 Schema
schema = pa.schema([
    ('id', pa.int32()),
    ('email', pa.string())
])

# 准备数据
ids = pa.array([1, 2], type = pa.int32())
emails = pa.array(['first@example.com', 'second@example.com'], pa.string())

# 生成 Parquet 数据
batch = pa.RecordBatch.from_arrays(
    [ids, emails],
    schema = schema
)
table = pa.Table.from_batches([batch])

# 写 Parquet 文件 plain.parquet
pq.write_table(table, 'plain.parquet')
import pandas as pd

import pyarrow as pa

import pyarrow . parquet as pq

# 定义 Schema

schema = pa . schema ( [

     ( 'id' , pa . int32 ( ) ) ,

     ( 'email' , pa . string ( ) )

] )

# 准备数据

ids = pa . array ( [ 1 , 2 ] , type = pa . int32 ( ) )

emails = pa . array ( [ 'first@example.com' , 'second@example.com' ] , pa . string ( ) )

# 生成 Parquet 数据

batch = pa . RecordBatch . from_arrays (

     [ ids , emails ] ,

     schema = schema

)

table = pa . Table . from_batches ( [ batch ] )

# 写 Parquet 文件 plain.parquet

pq . write_table ( table , 'plain.parquet' )

2、验证 Parquet 数据文件

我们可以用工具 parquet-tools 来查看 plain.parquet 文件的数据和 Schema


 $ parquet-tools schema plain.parquet  message schema {      optional int32 id;      optional binary email (STRING);  }  $ parquet-tools cat --JSON plain.parquet  {"id":1,"email":"first@example.com"}  {"id":2,"email":"second@example.com"}

没问题，与我们期望的一致。也可以用 pyarrow 代码来获取其中的 Schema 和数据


schema = pq.read_schema('plain.parquet')
print(schema)

df = pd.read_parquet('plain.parquet')
print(df.to_json())
schema = pq . read_schema ( 'plain.parquet' )

print ( schema )

df = pd . read_parquet ( 'plain.parquet' )

print ( df . to_json ( ) )

输出为：


schema = pq.read_schema('plain.parquet')
print(schema)

df = pd.read_parquet('plain.parquet')
print(df.to_json())
schema = pq . read_schema ( 'plain.parquet' )

print ( schema )

df = pd . read_parquet ( 'plain.parquet' )

print ( df . to_json ( ) )

二、含嵌套字段定义

下面的 Schema 定义加入一个嵌套对象，在 address 下分 email_address 和 post_address，Schema 定义及生成 Parquet 文件的代码如下


import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

# 内部字段
address_fields = [
    ('email_address', pa.string()),
    ('post_address', pa.string()),
]

# 定义 Parquet Schema，address 嵌套了 address_fields
schema = pa.schema(j)

# 准备数据
ids = pa.array([1, 2], type = pa.int32())
addresses = pa.array(
    [('first@example.com', 'city1'), ('second@example.com', 'city2')],
    pa.struct(address_fields)
)

# 生成 Parquet 数据
batch = pa.RecordBatch.from_arrays(
    [ids, addresses],
    schema = schema
)
table = pa.Table.from_batches([batch])

# 写 Parquet 数据到文件
pq.write_table(table, 'nested.parquet')
import pandas as pd

import pyarrow as pa

import pyarrow . parquet as pq

# 内部字段

address_fields = [

     ( 'email_address' , pa . string ( ) ) ,

     ( 'post_address' , pa . string ( ) ) ,

]

# 定义 Parquet Schema，address 嵌套了 address_fields

schema = pa . schema ( j )

# 准备数据

ids = pa . array ( [ 1 , 2 ] , type = pa . int32 ( ) )

addresses = pa . array (

     [ ( 'first@example.com' , 'city1' ) , ( 'second@example.com' , 'city2' ) ] ,

     pa . struct ( address_fields )

)

# 生成 Parquet 数据

batch = pa . RecordBatch . from_arrays (

     [ ids , addresses ] ,

     schema = schema

)

table = pa . Table . from_batches ( [ batch ] )

# 写 Parquet 数据到文件

pq . write_table ( table , 'nested.parquet' )

1、验证 Parquet 数据文件

同样用 parquet-tools 来查看下 nested.parquet 文件


 $ parquet-tools schema nested.parquet  message schema {      optional int32 id;      optional group address {          optional binary email_address (STRING);          optional binary post_address (STRING);      }  }  $ parquet-tools cat --json nested.parquet  {"id":1,"address":{"email_address":"first@example.com","post_address":"city1"}}  {"id":2,"address":{"email_address":"second@example.com","post_address":"city2"}}

用 parquet-tools 看到的 Schama 并没有 struct 的字样，但体现了它 address 与下级属性的嵌套关系。

用 pyarrow 代码来读取 nested.parquet 文件的 Schema 和数据是什么样子


schema = pq.read_schema("nested.parquet")
print(schema)

df = pd.read_parquet('nested.parquet')
print(df.to_json())
schema = pq . read_schema ( "nested.parquet" )

print ( schema )

df = pd . read_parquet ( 'nested.parquet' )

print ( df . to_json ( ) )

输出：


id: int32
  -- field metadata --
  PARQUET:field_id: '1'
address: struct<email_address: string, post_address: string>
  child 0, email_address: string
    -- field metadata --
    PARQUET:field_id: '3'
  child 1, post_address: string
    -- field metadata --
    PARQUET:field_id: '4'
  -- field metadata --
  PARQUET:field_id: '2'
{"id":{"0":1,"1":2},"address":{"0":{"email_address":"first@example.com","post_address":"city1"},"1":{"email_address":"second@example.com","post_address":"city2"}}}
id : int32

   -- field metadata --

   PARQUET : field_id : '1'

address : struct & lt ; email_address : string , post_address : string & gt ;

   child 0 , email_address : string

     -- field metadata --

     PARQUET : field_id : '3'

   child 1 , post_address : string

     -- field metadata --

     PARQUET : field_id : '4'

   -- field metadata --

   PARQUET : field_id : '2'

{ "id" : { "0" : 1 , "1" : 2 } , "address" : { "0" : { "email_address" : "first@example.com" , "post_address" : "city1" } , "1" : { "email_address" : "second@example.com" , "post_address" : "city2" } } }

数据当然是一样的，有略微不同的是显示的 Schema 中, address 标识为 struct<email_address: string, post_address: string> , 明确的表明它是一个 struct 类型，而不是只展示嵌套层次。

到此这篇关于用 Python 定义 Schema 并生成 Parquet 文件详情的文章就介绍到这了,更多相关用 Python 定义 Schema 并生成 Parquet 文件内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

您可能感兴趣的文档:

--结束END--

本文标题: 用 Python 定义 Schema 并生成 Parquet 文件详情

本文链接: https://lsjlt.com/news/136655.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 用 Python 定义 Schema 并生成 Parquet 文件详情
    目录一、简单字段定义1、定义 Schema 并生成 Parquet 文件2、验证 Parquet 数据文件二、含嵌套字段定义1、验证 Parquet 数据文件 Java 和 Pyth...
    99+
    2024-04-02
  • python通过生成cookie文件，并
    今天有个需求需要通过cookie访问内部cmdb，获取机器等信息。上网搜罗了一下用法。记录一下带密码直接访问的# -*- coding: utf-8 -*- # !/usr/bin/python import urllib2 import ...
    99+
    2023-01-31
    文件 python cookie
  • Python提取PDF指定内容并生成新文件
    在之前的Python办公自动化案专题中，我们已经介绍了如何有选择的提取某些页面进行合并。 但是很多时候，我们并不会预知希望提取的页号，而是希望将包含指定内容的页面提取合并为新PDF，...
    99+
    2024-04-02
  • 读Json文件生成pandas数据框详情
    目录前言records格式index格式columns 类型values格式split 参数示例压缩与编码前言 本文讲解如何加载json文件或字符串为pandas数据框。pandas...
    99+
    2024-04-02
  • Python类的定义和使用详情
    目录一、前言二、定义类三、创建类的实例四、“魔术”方法——_ init _()五、创建类的成员并访问1.创建实例方法并访问2.创建数据...
    99+
    2024-04-02
  • golang生成vcf通讯录格式文件详情
    目录1.源码​2.源码解析3.运行结果前言： vcf文件：​VCF是通讯录格式文件，一般需要用手机通讯录导入导出的文件格式都是vcf格式。​ 目的：​如果你是卖房销售，或者你是做什么...
    99+
    2024-04-02
  • Python如何提取PDF指定内容并生成新文件
    小编给大家分享一下Python如何提取PDF指定内容并生成新文件，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！01需求描述数据是一份有286页的上市公司公开年报P...
    99+
    2023-06-15
  • python生成器怎么定义和使用
    本文小编为大家详细介绍“python生成器怎么定义和使用”，内容详细，步骤清晰，细节处理妥当，希望这篇“python生成器怎么定义和使用”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。1. 生成器概念生成器（英文：...
    99+
    2023-07-02
  • python实战之用emoji表情生成文字
    一、前言 昨夜刷b站的时候，看到了一条评论，形式如下图，于是心血来潮写了个python脚本，可以根据文字来生成这种由emoji拼接成的“文字”。 二、思路 代码的思路极其简单，这种形式的“文字”可以理解为一张黑白图...
    99+
    2022-06-02
    python生成文字 python emoji表情
  • Python装饰器的定义和使用详情
    目录1.装饰器的定义2.装饰器的通用类型的定义3.多个装饰器同时装饰一个函数4.多个装饰器同时装饰一个函数（二）5.类装饰器使用方法6.使用装饰器实现自动维护路由表1.装饰器的定义 ...
    99+
    2024-04-02
  • 使用Python生成pdf文件
        Python平台的优秀PDF报表类库Reportlab。它不属于Python的标准类库，所以必须手动下载类库包并安装：       yum install python-reportlab -y    这篇文章将介绍reportla...
    99+
    2023-01-31
    文件 Python pdf
  • python 读取excel文件生成sql文件实例详解
    python 读取excel文件生成sql文件实例详解 学了python这么久，总算是在工作中用到一次。这次是为了从excel文件中读取数据然后写入到数据库中。这个逻辑用java来写的话就太重了，所以这次考...
    99+
    2022-06-04
    文件 详解 实例
  • Python实现学生管理系统并生成exe可执行文件详解流程
    目录一、准备工作二、代码流程三、打包exe可执行程序话说这能难倒我吗？赶赶单单~ 来 ，开搞！ 一、准备工作 用到的软件准备一哈 Python 3.8 Pycha...
    99+
    2024-04-02
  • python 中的requirements.txt 文件的使用详情
    目录实战场景生成 requirements.txt 文件潜在问题使用 requirements.txt 文件的好处备注使用 pip-compile实战场景 在部署Python应用时，...
    99+
    2024-04-02
  • Python使用openpyxl处理Excel文件详情
    目录前言1. Excel窗口2. 读取Excel文件3. 写入Excel文件4. 复制Excel文件5. 创建工作表6. 设置单元格字体及颜色7. 数学公式的使用8. 设置单元格宽高...
    99+
    2024-04-02
  • 使用php 实现生成Excel文件并导出
    在现在的项目里，不管是电商项目还是别的项目，在管理端都会有导出的功能，比方说订单表导出，用户表导出，业绩表导出。这些都需要提前生成excel表，然后在导出，实际上是在代码里生成一张excel表，然后通...
    99+
    2023-09-02
    excel php 开发语言
  • PHP实现生成Excel文件并导出的示例详解
    在现在的项目里，不管是电商项目还是别的项目，在管理端都会有导出的功能，比方说订单表导出，用户表导出，业绩表导出。这些都需要提前生成excel表，然后在导出，实际上是在代码里生成一张e...
    99+
    2023-01-11
    PHP生成Excel PHP导出Excel PHP Excel
  • Python生成图文并茂的PDF报告的方法详解
    目录安装第三方库模块导入封装不同内容对应的函数生成报告reportlab是Python的一个标准库，可以画图、画表格、编辑文字，最后可以输出PDF格式。它的逻辑和编辑一个word文档...
    99+
    2024-04-02
  • 用 Python 的 Template 类生成文件报告
    介绍很多时候，我发现自己需要进行生成报告、输出文件或字符串的任务。它们或多或少都会遵循某种模式，通常这些模式是如此相似，以至于我们希望拥有一个可以重用并直接输入数据的模板。幸运的是，Python提供了一个可以帮助我们的类：string.Te...
    99+
    2023-05-14
    Python Template 文件报告
  • 在vue自定义组件中使用 v-model指令详情
    目录一、前言1.技术点提前知二、在自定义的vue组件中使用v-model1.效果演示图2.自定义组件代码示例3.在父组件使用自定义组件三、优写时刻一、前言 如何实现在自定义的vue组...
    99+
    2024-04-02
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作