网页爬虫 - java 爬虫多线程读取同一个集合

问题描述

问 题

自己打算用java写个多线程的爬虫，结果在存储爬取得到数据的时候遇到了难点
我是打算把采集到的网页放在mysql数据中，然后问题来了
假设我开启了50个线程，然后爬取得到的每一个网页存储到一个对象，然后把对象放入集合当中，之后当对象里面的容量满到1000就写入一次数据库。但是感觉这样会有点问题

但是多个线程同时操作一个集合，怎么保证安全呢，不会出错吗
或者大神们提供一点更好的思路，初学java，讲的详细点吧

解决方案

用Collections.synchronizedSet把你的集合变成线程安全的

这篇关于网页爬虫 - java 爬虫多线程读取同一个集合的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！