数据分析 - java 数据挖掘分析求思路

问题描述

问 题

先说说我的想法吧：同时监控淘宝上很多物品的价格，然后获取价格走势（这个我打算自己写爬虫获取，然后存在数据库里），但是问题来了

我该怎么存储数据，使我能分析哪些物品在最近2天或7天的价格波动最大（最好是任意天数），这个地方该怎么实现比较好。总不能说每天我都要遍历一次数据库来求价格的差值吧，能不能有经验的大师指点下。

解决方案

总不能说每天我都要遍历一次数据库来求价格的差值吧 是觉得开销过大吗？那就把热点数据放Cache，过了这段热点时间就持久化到数据库。

热点数据可以是但不限于：

• 这几天刚采集的数据

• 最常常分析的日期段，比如2天、7天、1个月

这篇关于数据分析 - java 数据挖掘分析求思路的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！