data-warehouse相关内容

Azure SQL数据仓库是否可以拆分字符串?

做一些研究,我发现在Azure SQL数据仓库中没有很好的选项来拆分字符串.它没有新的STRING_SPLIT()函数或OPENJSON()函数.它也不允许用户定义函数中的SELECT语句尝试创建自己的社区,就像社区中创建的许多自定义拆分器函数一样. 因此,我想想我要提出一个问题:SQL数据仓库是否有拆分字符串的方法?在这里采取的最佳选择是什么? 用例 您在SQL表中具有一个值为 ..
发布时间:2020-09-17 21:11:52 数据库

如何获取(通过GET)所有JIRA问题?我是否要转到“搜索"节点?

/api/2/project看起来很容易以JSON格式返回JIRA实例中的所有项目. 我想对问题做同样的事情,但这似乎不存在. /api/2/search是执行像这样的大量转储的标准方法吗?定期将其更新到数据库的最佳方法是什么?我会做一些类似的搜索(更新日期> [数据库中的最后一个条目]),然后进行分页吗?当然,我不能成为第一个尝试此操作的人,尽管我在网上看不到任何类似的指南(我检查了 ..
发布时间:2020-09-05 21:39:58 其他开发

将数据直接加载到Google BigQuery与先通过Cloud Storage进行存储的优缺点是什么?

此外,直接在BigQuery中进行转换/联接有什么问题吗?我想最大程度地减少我要建立的数据仓库所涉及的组件和步骤的数量(一连串零售商店的简单交易和库存数据.) 解决方案 通过Cloud Storage加载数据是最快(也是最便宜)的方式. 可以通过应用直接加载(使用流式插入,这会增加一些额外的费用) 对于进行转换-如果您计划/需要做的事情可以在BigQuery中完成-您应该在BigQu ..

如何通过查询获得redshift中查询的总运行时间?

我正在对Redshift中的一些查询进行基准测试,以便对自己对表所做的更改说一些聪明的话,例如添加编码和运行真空.我可以使用LIKE子句查询 stl_query 表来查找我感兴趣的查询,因此我具有查询ID,但 gui仪表板显示了我感兴趣的指标,但是该格式很难存储以便以后进行分析/比较(换句话说,我想避免截取屏幕截图).有没有一种使用sql select重建该视图的好方法? 解决方案 要添加 ..
发布时间:2020-08-23 03:47:20 其他开发

平板的红移性能与尺寸和事实的关系

我正在尝试在平面OLTP表上创建尺寸模型(不在3NF中). 有些人认为不需要维模型表,因为报告的大多数数据都显示为单个表.但是该表包含的内容超出了我们所需的300列.我还是应该将平面表划分为维度和事实,还是直接在报表中使用平面表? 解决方案 仅出于报告目的创建表时(通常在数据仓库中使用),习惯上创建宽,具有非标准化数据的平面表,原因是: 查询更容易 它避免了因果关系用户可能会 ..

时间维度填充问题

我的MySql表返回的是天而不是时间.我每天至少需要几分钟的时间,因此应该自动填充1440条记录,但我一直都在等待几天.知道为什么吗?我也不需要秒,只需要小时和分钟,但是我不确定如何不用秒完成日期填充,因为时间的格式始终是"00:00:00" 过程如下: DELIMITER // CREATE PROCEDURE p_sc_time(IN startdate DATETIME,IN s ..
发布时间:2020-08-11 08:20:58 数据库

什么是登台表?

登台表仅在数据仓库项目或任何SSIS项目中使用吗?我想知道什么是登台表?谁能给我一些例子,说明如何使用它以及在什么情况下实现它? 另外,请问使用它时我能了解最佳做法吗? 解决方案 登台表只是包含您的某种形式的业务数据的数据库表.登台是准备业务数据的过程,通常是从某些业务应用程序中提取的.对于一般的BI系统,您必须在加载数据之前准备数据.临时表本质上只是一个临时表,其中包含已修改和/或清除的 ..
发布时间:2020-08-06 02:59:02 其他开发

无法为Visual Studio 2017 Professional安装SSDT

需要您的帮助 我已经在计算机上成功安装了VS2017. 但是,当我尝试安装SQL Server数据工具15.6.0或15.5.1时,出现以下错误: 安装失败 无法打开配置注册表项(0x800703F3) 谢谢大家!! 解决方案 SSDT的最新版本(15.6)与Visual Studio 2017的最新版本(15.7)不兼容.您目前有两种选择: 等待发布SSDT或VS ..
发布时间:2020-07-25 19:45:05 其他开发

Inmon数据集市vs Kimball数据集市

是kimball和inmon之间的唯一区别,即Enterprise层(EDW).我四处搜寻,发现inmon还使用EDW创建数据集市.这是否意味着对于给定的业务流程和源系统,这两个数据集市在结构上都相似? 一旦这两个过程的数据集市都可以使用,它们是否具有相同的性能? 如果我错了,请纠正我,首先创建数据仓库,然后在其上创建维度模型以用于特定的业务需求.(ER模型到维度模型) 我找不到 ..
发布时间:2020-07-21 02:27:04 其他开发

Datamart与Reporting Cube的区别是什么?

这些术语到处都是,我不知道清晰的定义.我很确定我知道什么是数据集市.而且我已经使用Business Objects和Cognos之类的工具创建了报表多维数据集. 我还让人们告诉我,数据集市不只是多维数据集的集合. 我也有人告诉我,数据集市是一个报表多维数据集,仅此而已. 您了解什么区别? 解决方案 多维数据集可以(并且可以说应该是非常特定的意思-通过 OLAP服务器(例如 ..
发布时间:2020-07-21 02:27:00 其他开发

假设多值维具有一对多关系[Dim 1:many Fact],如何在星形模式中表示它?

我是数据仓库实践的新手,在学术研究中,我想使用选定感兴趣区域中的数据集创建星型模式.因此,我和我的同学选择了一个国家一年内发生的车祸的数据集. 问题:在很多情况下,即使不是最多的问题,也涉及不止一辆汽车.因此,如果我选择将“事故"事件作为事实表,并以“驾驶员",“汽车",“伤亡",“位置",“状况"等作为维度,那么如何将它们转化为星型模式,什么时候尺寸“汽车",“驾驶员"和“伤亡"是多值的? ..
发布时间:2020-07-09 22:34:10 其他开发

星型模式设计-一栏尺寸

我是数据仓库的新手,但我认为我的问题相对容易回答. 我建立了一个星型模式,其中包含一个尺寸表"product".该表具有列"PropertyName"和列"PropertyValue". 因此,维度看起来像这样: surrogate_key | natural_key (productID) | PropertyName | PropertyValue | ... 1 ..
发布时间:2020-07-09 22:34:03 其他开发

插入星型图

我已经阅读了很多有关星型模式,事实/决策表,选择语句以快速报告数据的信息,但是对我来说,将数据输入星型模式的问题似乎并不重要.一个“理论上"如何将数据输入星型数据库?同时维护事实表.是带有20个参数的巨型存储proc中的一系列INSERT INTO语句的唯一选择(以及如何填充事实表). 非常感谢. 解决方案 首先从尺寸开始-一对一.使用ECCD(提取,清洁,符合要求,交付)方法. 请 ..
发布时间:2020-07-09 22:33:42 其他开发

星型模式设计中的维表类型是什么?

在阅读有关星型架构设计的文章时,我发现许多人为不同类型的维度表使用了不同的名称. 请列出每种类型的名称和简短说明.如果有的话,还有一个别名. 解决方案 到目前为止,我已经遇到过以下类型的维度表: 常规尺寸 标准星形尺寸. 时间维度 标准星标尺寸的特例. 父子维度 用于建模层次结构,FX BOM(物料清单). 雪花尺寸 也可以用于建模层次结构. 退 ..

一个或多个事实表?

我正在尝试建立一个数据集市. 我有很多方面,并有几项措施-事实.在业务方面,每项措施都与各个方面相关.有一种标准的方法,就是所有措施都有一个大的事实表. 但是我有一个主意:如果我为每个量度都有单独的事实表怎么办?它对数据库性能,解决方案可扩展性等有何作用? 编辑::: 在真正复杂的公司环境中,将存在基于olap多维数据集的巨大解决方案.因此需求首先是易于扩展和维护,然后是性能 ..

由Azure数据仓库提供支持的Power BI中基于时间的细分

我设计了一个简单的Azure数据仓库,希望在其中定期跟踪我的产品库存。此外,我希望能够查看按月,周,天和小时分组的数据,并能够从顶部向下钻取。我定义了3个维度: DimDate DimTime DimProduct 我还定义了一个事实表来跟踪产品库存: FactStocks -DateKey(20160510,20160511等) -TimeKey(0 ..
发布时间:2020-05-30 02:31:06 其他开发

PostgreSQL到数据仓库:接近实时ETL /数据提取的最佳方法

背景: 我有一个针对OLTP进行了优化的PostgreSQL(v8.3)数据库。 我需要以半实时的方式从中提取数据(有人一定会问半实时是什么意思,而答案是我可以,但是我会很务实,因为基准测试可以说我们希望每15分钟一次),然后将其输入到数据仓库中。 多少数据?在高峰时间,我们正在谈论每分钟大约80-100k行到达OLTP端,在非高峰期,这将大大下降到15-20k。更新最频繁的行各 ..