并发 - redis队列里每天有超过一亿条数据，使用python如何高效的将其写入sql数据库?

问题描述

问 题

使用python拉redis队列里的数据，如何确保完整高效不阻塞的把每天上亿条的数据写入mysql/oracle数据库？

解决方案

整个就是个队列+消费队列的流程。

给个思路系列：

1. 使用monitor命令监听redis事件，或者升级redis版本(>=2.8)，监听redis改动事件。

2. 多进程/线程/协程处理事件(例如放入缓冲区)

3. 缓冲区数据批量插入数据库。(mysql似乎最多一次插入5000条，不确定，可能是9999或者4999，但是有上限)，依靠SQL数据库事务功能，失败即回滚。

侃大山系列：

4.这么大的数据可以考虑列数据库，hbase之类。

不负责任系列：

5.似乎有人说mongodb数据量大会就有问题，包括国外国内，以及身边的人测试过之后的结论?，言论时间均>=一年。

其他系列：

6.每天2亿条，每秒2000条左右，峰值预估可能有10000条，能达到这个数据量的数据库不多，建议：

• 做好分库分表

• 再仔细考虑一下数据库选型

• 查看一下其他公司的案例

• 寻求一下上级和更资深的人的意见。

这篇关于并发 - redis队列里每天有超过一亿条数据，使用python如何高效的将其写入sql数据库?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！