使用Qt大量下载网页 [英] Bulk download of web pages using Qt
本文介绍了使用Qt大量下载网页的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我想使用Qt编写一个程序，每天从一个网站下载大量的HTML网页，大约5000个网页。下载该页面后，我需要使用DOM Query提取一些数据，使用WebKit模块，然后将该数据存储在数据库中。
I want to write a program using Qt that downloads a lot of HTML web pages, about 5000, from one site every day. After downloading that pages I need to extract some data using DOM Query, using the WebKit module, and then store that data in a database.
这是最好/正确/有效的方式做到这一点，特别是下载和分析阶段？如何处理此类请求数量以及如何创建下载管理器？
Which is the best/correct/efficient way to do that, in particular the download and analysis phase? How do I handle that amount of requests and how to create the "download manager"?
推荐答案
使用专用库，例如 libcurl
To download the pages it makes sense to use a dedicated library like libcurl
这篇关于使用Qt大量下载网页的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
