snowflake-cloud-data-platform相关内容

安装Snowflake JDBC驱动程序

我正在尝试根据说明安装Snowflake JDBC驱动程序。 我已经从此处,然后从此处。当我双击该文件时,没有任何反应。因此,我打开了CMD并尝试了以下方法: java -jar雪花-jdbc-3.6.9.jar 我收到了 *没有主要清单属性,位于雪花jdbc-3.6.9.jar * 。 打开META-INF\MANIFEST.MF文件时,我确实看到: ..

如何使用雪花和python从熊猫数据框创建Spark数据框?

我有一个sql,它存储在python中的变量中,我们使用SnowFlake数据库。首先,我已经使用sql转换为Pandas Data框架,但是我需要转换为Spark数据框架,然后存储在CreateorReplaceTempView中。我尝试过: 导入熊猫为pd import sf_connectivity(我们有一个用于与Snowflake数据库建立连接的代码) emp ='Selec ..

雪花熊猫pd_writer用NULL写出表

我有一个熊猫数据框,正在使用SQLAlchemy引擎和 to_sql 函数将其写到Snowflake。它工作正常,但由于雪花限制,我不得不使用 chunksize 选项。这对于较小的数据帧也很好。但是,某些数据帧有500k +行,每块记录15k记录,要永久完成对Snowflake的写入。 我做了一些研究,发现了 Snowflake提供的pd_writer 方法显然可以更快地加载数据帧。我的P ..

如何删除雪花中创建的临时表

我正在通过ODI将数据加载到由c $创建的雪花临时表中,加载成功后需要将其删除,如何删除这些临时表会引起您的建议 解决方案 如果您仍然需要这样做,我将编写一个存储过程,该过程将获取动态生成的SQL列表,并一次执行一行。您可以使用它运行由选择查询产生的任何生成的SQL语句列表,包括删除所有与模式(例如c $%)匹配的表。首先,这是存储过程: 创建或替换过程RunBatchSQL(sql ..
发布时间:2020-10-16 02:02:57 其他开发

Lambda错误:找不到模块.密码学.hamtaz.bindings._constant_time

我创建了一个lambda函数,该函数将数据上传到雪花.我在文件夹中安装了所有要求,并与我的主要python文件一起压缩.在AWS中运行时会显示错误: 未找到模块.密码学.hamtaz.bindings._constant_time. 但是我在指定的路径上有这个模块.我不知道为什么它显示错误.我不知道为什么会出现错误. 这是代码: main(event, context): ..
发布时间:2020-09-15 19:49:29 Python

SQL:根据另一个表中的不同条件设置条件值

SQL的一些新知识-数据库是Snowflake,我相信它是ANSI 主表如下所示.相同发行/UPC/仓库/日期的组合是可能的,因为每当报告新发行时都会添加新记录.存在其他列,但不应影响此问题 排除栏是我要弄清楚的-如果“排除"表中的“发行/UPC/仓库和日期"的所需组合位于"Y",则如下所示. 棘手的部分是LEVEL列,它定义UPC/问题/仓库组合是否必须匹配,还是仅UPC/问题 ..

雪花中的CONV()函数

我试图在Snowflake中找到与CONV() MySQL函数相当的功能,但我似乎找不到它. 我正在雪花中尝试执行以下操作: SELECT CONV('39ix75wf3aor7',36,10) 结果应为15468921890196183763 解决方案 我编写了一个UDF以完成CONV()的工作.它可以工作,但是不幸的是,JavaScript变量不支持与样本一样大的数值 ..
发布时间:2020-08-11 03:11:04 数据库

在雪花中使用计划任务克隆具有动态名称的数据库

我想使用雪花任务计划程序来克隆一个或所有具有动态克隆数据库名称的数据库,如下所示,是否可以在不创建存储过程的情况下进行.由于我的帐户下有多个数据库,我希望将所有数据库克隆到一个任务中 创建数据库xx_date 克隆xx 感谢您的答复 谢谢 解决方案 是否可以在不创建存储过程的情况下完成该操作 仅 CREATE TASK 语句语法允许指定一个SQL语句,并且 语句 ..
发布时间:2020-07-25 02:48:44 其他开发

横向扁平化Snowpipe数据,包含数组和dict的混合

我有两个不同的结构化json文件从雪管中插入.唯一的不同是,它没有嵌套的dict,而是具有许多嵌套的数组.我试图弄清楚如何将结构1 转换为一张最终表.我已经成功地将结构2 转换为表格,并包含以下代码. 我知道我需要利用侧向展平,但是没有成功. **Structure 1: Nested Arrays (Need help on)** This json lives within a t ..

如何在具有所有者权限的过程中运行雪花副作用功能,例如SYSTEM $ GENERATE_SCIM_ACCESS_TOKEN?

基本上,我想在雪花中进行SCIM集成.为此,我必须使用此命令来获取将传递给Azure AD的令牌: call system$generate_scim_access_token(''); 此命令只能与AccountAdmin一起运行.并使用AccountAdmin运行它,我可以获取令牌,但是以后我将不再具有AccountAdmin的权限,因此,为此,我使用AccountAd ..

在Snowflake的创建脚本中添加当前日期

我有一个要求,当动态创建表时,必须创建表名称为date/datetime的表.想知道在Snowflake中是否可以使用此选项吗? 例如: 我需要这样的东西. 创建表someNewTable_YYYYMMDD 感谢您的回复; 最好, AB 解决方案 您可以使用 IDENTIFIER 关键字. 下面是一个将当前日期添加到表名的示例: SET table_na ..

雪花中约束的意义

Snowflake允许UNIQUE,PRIMARY KEY,FOREIGN KEY和NOT NULL约束,但我读到它仅强制执行NOT NULL约束.那么其他键的目的是什么,我们必须在什么情况下定义它们?我感谢任何例子. 谢谢你, Prashanth. 解决方案 它们表达了意图,可以帮助人们理解您的数据模型.数据建模工具可以使用它们来生成图.您还可以通过编程方式访问它们,以自己验证数据 ..

仅克隆雪花元数据

我想克隆一个Snowflake数据库的外壳(仅元数据,没有数据).这可能吗?我已经检查了文档,但没有找到解决方案. 解决方案 如果您只是想获取现有数据库的空外壳,则可以克隆整个数据库,然后对所有数据库进行截断数据库中存在的表.克隆不添加任何数据,并且在克隆上截短将非常快(同时不影响原始表). ..
发布时间:2020-05-09 02:00:54 其他开发