external-tables相关内容

如果托管表和外部表具有相同的位置,删除托管表是否会删除外部表?

在相同位置创建托管表和外部表。 当您删除内部表时,数据文件会发生什么情况? 是否会对外部表或外部表的文件位置造成问题? 推荐答案 该表是一个元数据,其中包含列规范、位置路径、表类型、SerDe、统计信息、授权等。删除位置文件夹或文件不会删除该表,只会删除数据。配置单元中的表和数据是松散连接的,这非常方便,因为您不仅可以使用配置单元管理数据,还可以在由其他一些工具生成的现有数据之上创建 ..
发布时间:2022-04-04 19:44:53 其他开发

在 Azure 数据块中创建外部表

我是 azure databricks 的新手,正在尝试创建一个指向 Azure Data Lake Storage (ADLS) Gen-2 位置的外部表. 从 databricks 笔记本中,我尝试为 ADLS 访问设置 spark 配置.我仍然无法执行创建的 DDL. 注意:对我有用的一种解决方案是将 ADLS 帐户安装到集群,然后使用外部表的 DDL 中的安装位置.但是我需要检 ..
发布时间:2021-12-28 23:43:38 其他开发

如何使用 Hive 使用单个 hdfs 路径创建 n 个外部表

是否可以使用 Hive 创建 n 个指向单个 hdfs 路径的外部表.如果是,有什么优点和局限性. 解决方案 可以在 HDFS 的同一位置上创建多个表(同时托管和外部). 在相同数据之上创建具有完全相同架构的表根本没有用,但是您可以创建具有不同列数的不同表,例如使用 RegexSerDe 创建具有不同解析列的不同表,因此您可以有不同的这些表中的模式.您可以对 Hive 中的这些表拥有 ..
发布时间:2021-12-28 23:14:11 其他开发

与 hive 中的外部表混淆

我使用以下命令创建了 hive 外部表: 使用 hive2;创建外部表 depTable (depId int comment 'This is the unique id for each dep', depName string,location string) comment '部门表' 行格式以“,"结尾的分隔字段存储为文本文件位置“/dataDir/"; 现在,当我查看 HDFS ..
发布时间:2021-12-15 18:45:58 其他开发

配置单元表在每个日期加载前重新创建

我看到应用程序正在删除外部表,然后再次创建,然后每次加载数据时都加载数据并运行msck命令.每次删除和创建时,这样做有什么好处? 解决方案 删除和重新创建 EXTERNAL 表没有任何好处,因为删除表会使数据保持不变. 尽管删除和重新创建 MANAGED 表可能会有好处,因为它也会删除数据. 如果您在S3上运行,则可能是一种情况: 在加载完成之前提早删除文件,而不是在加载 ..
发布时间:2021-05-14 19:10:03 其他开发

通过添加Hive/Athena的CSV文件中存在的两列来创建外部表

我有一个包含三列A,B,C的CSV文件. 我想在它的顶部创建一个具有两列A(B + C)的外部表. 是否有可能在表创建过程中使它发生?或者在创建表后是否应该创建视图? 解决方案 不能使用CSVSerDe或LasySimpleSerDe,但是可以使用RegexSerDe.表定义中的每一列都应在input.regex中具有对应的捕获组(). 例如,如果文件用逗号分隔,则可以这 ..
发布时间:2021-05-14 19:08:49 其他开发

Hive外部表的自动列表

我必须创建一个自动化的过程来列出Hive中的所有外部表,并对这些表进行记录计数. 我应该将其作为日常工作.我通过对所有外部表名进行硬编码来尝试此操作,但是由于表每个月都会不断变化,因此不被接受. 我经历过诸如[show tables]之类的不同方法,并在元存储数据库中执行查询.但是这些对自动完成过程没有帮助. 在Hive中是否有更好的方法来实现这一点. 解决方案 使用sh ..
发布时间:2020-06-14 18:56:21 其他开发

在Azure数据砖中创建外部表

我不熟悉Azure数据砖,并尝试创建一个外部表,指向Azure Data Lake Storage(ADLS)第2代位置. 在databricks笔记本中,我尝试为ADLS访问设置火花配置.仍然无法执行创建的DDL. 注意:一种适用于我的解决方案是将ADLS帐户挂载到集群,然后使用外部表的DDL中的挂载位置.但是我需要检查是否有可能在没有安装位置的情况下创建带有ADLS路径的外部表DD ..
发布时间:2020-06-14 18:56:15 其他开发

如何在Hive中截断分区的外部表?

我打算截断具有一个分区的配置单元外部表.因此,我已使用以下命令截断该表: hive> truncate table abc; 但是,它抛出了一个错误提示:无法截断非托管表abc. 有人可以建议我就同一件事... 解决方案 首先创建表MANAGED: ALTER TABLE abc SET TBLPROPERTIES('EXTERNAL'='FALSE'); 然 ..
发布时间:2020-06-14 18:56:13 其他开发

DROP PARTITION是否从HIVE的外部表中删除数据?

HIVE中的外部表按年,月和日划分. 以下查询是否从该查询中引用的特定分区的外部表中删除数据?:- ALTER TABLE MyTable DROP IF EXISTS PARTITION(year=2016,month=7,day=11); 解决方案 分区方案不是数据.分区方案是存储在元数据中的表DDL的一部分(简单地说:分区键值+数据文件的存储位置). 数据本身存储在分 ..
发布时间:2020-06-14 18:56:09 其他开发

如何使用Hive使用单个hdfs路径创建n个外部表

是否可以使用Hive创建n个指向单个hdfs路径的外部表.如果可以,优势和局限性是什么? 解决方案 可以在HDFS中同一位置的顶部创建许多表(同时管理表和外部表). 在相同数据之上创建具有完全相同模式的表根本没有用,但是您可以使用例如RegexSerDe创建具有不同列数或具有不同分析列的不同表,因此您可以拥有不同的表这些表中的模式.您可以在Hive中对这些表具有不同的权限.还可以在其 ..
发布时间:2020-06-14 18:56:07 其他开发

Oracle外部表日期字段-在一个数据库中有效,而在另一个数据库中无效

这是一个疯狂的例子:相同的外部表定义合而为一 数据库,但在另一个数据库中失败.不是模式-数据库.两个数据库,都 在同一操作系统上,不同的服务器上.此外,它在第二个日期失败 字段,尽管两者定义相同.两台服务器上的NLS设置相同,以为我认为日期掩码无论如何都应该覆盖它.这是定义: -- access parameters -- http://docs.oracle.com/cd/E11882_0 ..
发布时间:2020-05-22 04:20:32 其他开发

从插入到外部表中删除EOL定界符-oracle

按照Alex的建议,我在外部表的 rowdata 列中加入了 notrim (这是 但是现在行尾字符也附加在rowdata列上,我的意思是,行尾(CR-LF)也连接在rowdata末尾. 我不想使用substr()或translate(),因为文件大小约为1GB, 我的外部表创建过程: 'CREATE TABLE ' || rec.ext_table_name || ' (ROW ..
发布时间:2020-05-22 03:35:02 数据库

Oracle外部表

尽管我研究了Oracle论坛,但我仍在努力使用Oracle外部表.仍然没有成功. 假设我有一张简单的桌子 DESCRIBE PRODUCTS Name Null Type ..
发布时间:2020-05-22 01:55:46 数据库

如何“定长记录"?和“固定长度字段"提高数据库性能?

任何人都可以通过ORACLE_LOADER访问驱动程序解释以下两条语句来提高Oracle外部表的性能: 定长记录的处理速度比终止记录要快 一个字符串. 定长字段的处理比定界字段的处理速度快. 对代码的解释可能有助于我深入理解该概念.这是两种语法: 固定字段长度 create table ext_table_fixed ( field_1 char(4), fi ..
发布时间:2020-05-22 01:27:02 数据库

获取外部表的位置和文件名?

我正在将多个文件作为外部表的一部分进行处理.有什么办法可以让我在外部表中处理文件名并将其放置在表中? 目前,我能找到的唯一解决方案是将文件名附加到平面文件中的每个记录,这从效率的角度来看并不理想,并且涉及修改原始数据.当然,外部表可以随时知道正在处理哪个文件吗? 解决方案 我不知道有什么方法可以在访问参数中捕获文件名.解决方法是,可以使用预处理器动态添加文件名,而不是修改原始文件.如 ..
发布时间:2020-05-21 23:36:03 数据库

Hive从JSON错误

我无法以某种方式将此json转换为配置表,无论是变为空数据还是无法选中。我只需要与我的DDL所有相同的字段,如果它是内部结构的,我想让它作为一个字符串,而不是尝试解析。 唯一的一个几乎实现了: hive-hcatalog-core-1.1.0-cdh5.10.0.jar 因为有些数据是空白的, 我可以查询LIMIT,但是当我删除限制时,它返回给我这种错误 org.apache.hadoop ..
发布时间:2018-06-12 14:16:34 其他开发