denormalization相关内容

在 DynamoDB 表上搜索数组项

我需要了解如何搜索作为数组一部分的 DynamoDB 的属性. 因此,在对表格进行非规范化时,假设一个人有很多电子邮件地址.我会在 person 表中创建一个数组来存储电子邮件地址. 现在,由于电子邮件地址不是排序键的一部分,如果我需要对电子邮件地址执行搜索以查找人员记录.我需要索引 email 属性. 我可以在电子邮件地址上创建一个索引吗,它与个人记录是一对多的关系,并且按照我 ..
发布时间:2022-01-15 17:42:22 其他开发

在 Oracle 中保持表同步

我们即将进行并行测试,以将旧系统与新的闪亮版本进行比较.我们有一个 Oracle 数据库表 A,用于存储遗留系统的数据,以及一个等效的表 B,用于存储新系统的数据,因此在测试期间,数据库是非规范化的.(此外,旧系统和表 A 是固定的 - 不允许更改) 我想要做的是允许 A 上不频繁的 DML 操作传播到 B,反之亦然.我开始使用一对触发器来执行此操作,但遇到了一个明显的问题,即当触发器运行时 ..
发布时间:2022-01-01 21:30:38 数据库

Cassandra 非规范化数据模型

我读到在 nosql(例如 cassandra)中,数据通常是非规范化存储的.例如,请参阅此 SO 答案或此 网站. 一个例子是,如果你有一个员工和部门的列族,并且你想执行一个查询:select * from Emps where Birthdate = '25/04/1975'然后你必须制作一个列族birthday_Emps,并将每个员工的ID存储为一列.因此,您可以查询关键字“25/04 ..
发布时间:2021-12-31 17:33:56 其他开发

可以使用 SQLAlchemy 事件更新非规范化数据缓存吗?

出于性能原因,我有一个非规范化数据库,其中一些表包含从其他表中的许多行聚合的数据.我想通过使用 SQLAlchemy events 来维护这个非规范化的数据缓存.例如,假设我正在编写论坛软件,并且希望每个 Thread 都有一个列跟踪该线程中所有评论的组合字数,以便有效地显示该信息: 类线程(基础):id = 列(UUID,primary_key=True,default=uuid.uuid4) ..
发布时间:2021-12-30 14:31:43 Python

在数据库中存储多项选择值

假设我让用户检查她说的语言并将其存储在数据库中.重要的旁注,我不会在 db 中搜索任何这些值,因为我将有一些单独的搜索引擎进行搜索.现在,存储这些值的显而易见的方法是创建一个表,如 用户语言(用户 ID nvarchar(50),LookupLanguageID int) 但该站点将是高负载,我们正在尽可能地消除任何开销,因此为了避免在 UI 上显示结果时与主成员表连接,我想在主表中为用户存储 ..
发布时间:2021-12-26 21:16:06 其他开发

非规范化以什么方式提高数据库性能?

我听说了很多关于为了提高某些应用程序的性能而进行的非规范化.但我从未尝试过做任何相关的事情. 所以,我只是好奇,规范化数据库中的哪些地方会使性能变差,或者换句话说,什么是非规范化原则? 如果我需要提高性能,我该如何使用这种技术? 解决方案 非规范化是一种时间空间权衡.规范化数据占用较少空间,但可能需要连接以构建所需的结果集,因此需要更多时间.如果它是非规范化的,数据会在几个地方 ..

在数据库方面,是“为了正确性而规范化,为了性能去规范化";正确的咒语?

规范化会带来许多基本和理想的特征,包括审美愉悦.此外,它在理论上也是“正确的".在这种情况下,非规范化被用作一种折衷,一种实现性能的校正.除了性能之外,还有其他原因可以对数据库进行非规范化吗? 解决方案 非规范化的两个最常见原因是: 性能 无知 前者应通过分析进行验证,而后者应通过卷起的报纸进行更正;-) 我想说一个更好的口头禅是“为了正确性而规范化,为了速度去规范化— ..

使用 Symfony 2 序列化程序对对象中的嵌套结构进行非规范化

我正在使用 2.8 版的 Symfony 2 项目,并且我正在使用内置组件 Serializer ->http://symfony.com/doc/current/components/serializer.html 我有一个由 Web 服务提供的 JSON 结构.反序列化后,我想对对象中的内容进行非规范化.这是我的结构(汽车应用程序上下文中的模型/制造). [{“0":{“id":0,“ ..
发布时间:2021-12-10 11:28:46 PHP

如何将向量归一化/非归一化到范围 [-1;1]

我如何标准化一个向量到范围[-1;1] 我想使用函数norm,因为它会更快. 还请告诉我如何在规范化之后去规范化该向量? 解决方案 norm 标准化一个向量,使其平方和为 1. 如果要对向量进行归一化,使其所有元素都在 0 和 1 之间,则需要使用最小值和最大值,然后可以再次使用它们进行非归一化. %# 生成一些向量vec = randn(10,1);%# 获取最大值和 ..
发布时间:2021-12-08 14:45:00 其他开发

可以使用 SQLAlchemy 事件来更新非规范化数据缓存吗?

出于性能原因,我有一个非规范化数据库,其中一些表包含从其他表中的许多行聚合的数据.我想通过使用 SQLAlchemy events 来维护这个非规范化的数据缓存.例如,假设我正在编写论坛软件,并希望每个 Thread 都有一个列跟踪该线程中所有评论的组合字数,以便有效地显示该信息: 类线程(基础):id = 列(UUID,primary_key=True,default=uuid.uuid4)标 ..
发布时间:2021-08-22 18:31:01 Python

如何定期重建访问非常频繁的报表?

刷新准备好的报告表大约需要 5-10 分钟.我们希望不断刷新此表(可能每 15 分钟一次或连续刷新一次). 我们非常频繁地(每分钟多次)查询此报表,我无法将其保留很长时间.如果数据是 15 分钟前的就可以了. 我无法删除表格并重新创建它.我无法删除表格的内容并重新创建它. 有没有我应该使用的技术,比如在两个表之间交换(在我们构建另一个表时从一个表中读取),或者我是否将这个 5-1 ..
发布时间:2021-07-07 19:56:34 数据库

雪花 sproc 与独立 sql

我正在考虑为我们的 BI 目的创建非规范化表. 在从多个表创建业务逻辑时,我注意到当使用如下合并语句批量更新非规范化表(具有多个业务逻辑 SQL 的 sproc)时,查询性能更好. 例如:sproc 包含多个 SQL's like 合并 denormalized_data(选择 businesslogic1) 合并非规范化数据(选择businesslogic2) 等 是 ..

如何为 Pandas Dataframe 非规范化 YAML?

我正在尝试将 YAML 文件中的数据导入 Pandas DataFrame.以下面的例子data.yml: ---- 文档:“Book1"评论:- 评论者:“保罗"星级:“5"- 评论者:“山姆"星级:“2"- 文档:“Book2"评论:- 评论者:“约翰"星级:“4"- 评论者:“山姆"星级:“3"- 评论者:“皮特"星级:“2"... 所需的 DataFrame 如下所示: doc r ..
发布时间:2021-06-13 20:45:40 Python

对完全规范化的表进行反规范化

谁能就如何对完全规范化的表进行非规范化提出建议?尽管在谷歌上搜索,我还是没能找到太多内容. 每当在 TableA 中更新记录(虽然没有插入,但现在不用担心)时,都会将记录插入到 HistoryOfTableA 中,其中包含已更改的字段值以及执行时关联的时间戳. > 例如 表A字段: TableA_Id、FieldA、FieldB、FieldC、FieldD...等 Histor ..
发布时间:2021-06-08 19:00:20 其他开发

我可以在BigQuery的准备工作中对Google Cloud SQL中的数据进行非规范化吗

鉴于bigquery并不旨在作为非规范化数据的平台,我可以在导入bigquery之前在Google Cloud sql中对数据进行规范化吗? 我有下表:Table1 500M行,Table2 2M行,Table3 800K行, 由于各种原因,我无法在我们现有的关系数据库中进行非规范化.因此,我想对数据库进行sql转储,将其加载到google cloud sql中,然后使用sql joi ..
发布时间:2021-05-12 18:43:30 其他开发

我应该将“贷款",“购买"和“销售"表归一化为一个表吗?

根据我在下面提供的信息,请问我是否对将单独的表格非规范化为一个包含不同类型合同的表格是否是个好主意?银行系统使用CIF(客户信息文件)[母版],其中客户可能具有不同类型的帐户,CD,抵押等,并使用交易代码[类型],但它们是否将它们存储在一张表中? 我有单独的贷款,购买和付款表格.销售交易.这些表中的每行都以以下方式连接到其相应的客户: customer.pk_id SERIAL = l ..
发布时间:2020-11-27 21:49:00 数据库

增长文档时MongoDB中的碎片

似乎有评论的博客是使用MongoDB时描述不同建模策略的标准示例。 我的问题与将评论建模为单个博客文章文档上的子集合(即,一个文档存储与单个博客文章相关的所有内容)。 如果同时进行多次写入,则似乎可以避免使用upserts和目标更新修饰符(如push)覆盖以前的更新。这意味着,为每个添加的注释保存文档不会覆盖以前添加的注释。 但是,碎片在这里如何发挥作用?假设随着时间的推移添加多个注 ..
发布时间:2020-10-17 22:07:25 其他开发