使用Qt大量下载网页 [英] Bulk download of web pages using Qt
本文介绍了使用Qt大量下载网页的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我想使用Qt编写一个程序,每天从一个网站下载大量的HTML网页,大约5000个网页。下载该页面后,我需要使用DOM Query提取一些数据,使用WebKit模块,然后将该数据存储在数据库中。
I want to write a program using Qt that downloads a lot of HTML web pages, about 5000, from one site every day. After downloading that pages I need to extract some data using DOM Query, using the WebKit module, and then store that data in a database.
这是最好/正确/有效的方式做到这一点,特别是下载和分析阶段?如何处理此类请求数量以及如何创建下载管理器?
Which is the best/correct/efficient way to do that, in particular the download and analysis phase? How do I handle that amount of requests and how to create the "download manager"?
推荐答案
使用专用库,例如 libcurl
To download the pages it makes sense to use a dedicated library like libcurl
这篇关于使用Qt大量下载网页的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文