MySQL中的大表每次都基于CSV更新行 [英] Big table in mysql Updating rows based on csv every time

问题描述

我有一个包含50万行的表，我假设我每小时都会收到CSV文件，我需要根据CSV更新我的MySQL表。它可能包含新行，或者某些行可能会被修改。该表有一个主键(名为SKU)

Product表列：

1. SKU
2. 产品详情
3. 价格

我希望尽快完成此操作，其中一个条件是我不能删除表并再次加载，因为我的主要要求是"；支持将给定文件常规非阻塞并行接收到表"；中。

我可以使用Python等脚本语言。

我有一个解决方案，就是创建一个临时表并将数据导入到表中，然后更新我的主表。

如有任何帮助或建议，我们将不胜感激

推荐答案

如果新数据是整个集合，请执行以下操作：

1. CREATE TABLE new LIKE real;
2. LOAD DATA INFILE INTO new ...这是唯一较慢的步骤，但不会影响real表。
3. 如果您需要清理数据，请执行此步骤。否则，您不需要Python。
4. RENAME TABLE real TO old, new TO real;此步骤速度很快。
5. DROP TABLE old;

如果传入数据不包含所有SKU，请参阅此处的技术：http://mysql.rjweb.org/doc.php/staging_table

这篇关于MySQL中的大表每次都基于CSV更新行的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！