创建Hive表来从parquet / avro模式读取parquet文件 [英] Create Hive table to read parquet files from parquet/avro schema

问题描述

我们正在寻找一种解决方案，以创建一个外部配置单元表，以根据parquet / avro模式从parquet文件中读取数据。

另外一种方式是使用

如何从parquet / avro模式生成配置单元表？

谢谢：）

解决方案使用avro模式在下面尝试：

  CREATE TABLE avro_test ROW FORMAT SERDE'org.apache.hadoop.hive .serde2.avro.AvroSerDe'STORED AS AVRO TBLPROPERTIES（'avro.schema.url'='myHost / myAvroSchema.avsc'）; 
 
 CREATE EXTERNAL TABLE parquet_test LIKE avro_test STORED AS PARQUET LOCATION'hdfs：// myParquetFilesPath'; 
  

在动态创建具有Avro模式的Hive外部表格在镶木地板数据上

We are looking for a solution in order to create an external hive table to read data from parquet files according to a parquet/avro schema.

in other way, how to generate a hive table from a parquet/avro schema ?

thanks :)

解决方案

Try below using avro schema:

CREATE TABLE avro_test ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS AVRO TBLPROPERTIES ('avro.schema.url'='myHost/myAvroSchema.avsc'); 

CREATE EXTERNAL TABLE parquet_test LIKE avro_test STORED AS PARQUET LOCATION 'hdfs://myParquetFilesPath';

Same query is asked in Dynamically create Hive external table with Avro schema on Parquet Data

这篇关于创建Hive表来从parquet / avro模式读取parquet文件的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！