wget相关内容

使用Wget跳过成功下载的文件

所以我有这个Bash子程序使用wget下载文件,现在我的问题是如何跳过成功下载的文件。该脚本下载了大量文件,一旦下载失败,它会从头开始重新下载覆盖成功下载的所有文件(由于重新下载可能不完整)。 那么如何跳过这些文件成功下载? DownloadFile(){ paramURL = $ 1 paramFilename = $ 2 if [$ flag_archive_fet ..
发布时间:2017-07-13 12:00:41 服务器开发

使用wget从受密码保护的链接下载文件

我正在尝试使用wget从受密码保护的http链接下载文件。我使用以下语法: wget --http-user = user --http-password = xxxxxx http:// ...... 我使用正确的语法吗?用户名和密码是用引号还是双引号括起来? 解决方案 几年前我做了这个,幸运的是在备份中找到了脚本。 我记得这是一个两阶段的过程。 第一步是获取并存 ..
发布时间:2017-07-13 11:32:50 服务器开发

如何获取Mozilla开发人员网站的转储

整个Mozilla开发人员网站的大小是多少? api.jquery.com 通过 wget 下载时约为40MB。 解决方案 根据 bugzilla bug 757461 和“关于”页面上的下载部分,MDN提供整个网站内容的每周快照可从以下网址获取: https://developer.mozilla.org/media/developer.mozilla.org.tar.gz ..
发布时间:2017-07-13 11:18:07 开发方法

Python urllib.urlretrieve()和wget之间的区别

我试图使用Python检索一个500mb的文件,而且我有一个使用 urllib.urlretrieve()的脚本。在我和下载网站之间似乎有一些网络问题,因为这个呼叫一直挂起并且无法完成。但是,使用 wget 来检索文件往往没有任何问题。 urlretrieve()和 wget 之间有什么区别?可能会导致这种差异? 解决方案 答案很简单。 Python的 urllib 和 urllib2 不 ..
发布时间:2017-07-13 11:00:25 Python

如何从zippyshare的bash下载?

任何人都可以帮助我如何使用bash(服务器与CentOS)从zippyshare.com下载文件? 他们使用Flash制作的下载按钮,所以我无法检索下载链接。 解决方案 绝对有可能,但是这有点黑客。我一直在使用 wget 自己做一段时间。诀窍是使服务器认为是从浏览器发出请求,并且要做到这一点,你需要几件事: 下载链接(文件的实际链接) 链接引荐来源网址(带有下载按钮的网页) Z ..
发布时间:2017-07-13 10:14:51 前端开发

wget下载与多个同时连接

我正在使用wget下载网站内容,但是wget会逐个下载文件。 如何使用4个并发连接进行wget下载? p> 解决方案 使用aria2: aria2c -x 16 [url] #| #| #| #---->连接数 http://aria2.sourceforge.net 我喜欢它!! ..
发布时间:2017-07-13 10:00:43 开发方法

wget命令下载文件并另存为不同的文件名

我正在使用 wget 命令下载文件。但是当它下载到本地机器时,我希望将其保存为不同的文件名。 例如:我从 www.examplesite.com/textfile.txt 我想使用 wget 将本地目录下的文件 textfile.txt 保存为 newfile.txt 。我使用 wget 命令如下: wget www.examplesite .com / textfile.tx ..
发布时间:2017-07-13 09:37:24 开发方法

如何在所有文件和子目录下下载HTTP目录,因为它们出现在在线文件/文件夹列表中?

有一个我可以访问的在线HTTP目录。我试图通过wget下载所有子目录和文件。但是,问题是当wget下载子目录时,它会下载包含该目录中的文件列表的index.html文件,而无需自己下载文件。 有没有下载子目录和文件没有深度限制的方法(好像我想下载的目录只是一个我想要复制到我的电脑的文件夹)。 解决方案 解决方案 wget -r -np -nH --cut-dirs = 3 -R ..
发布时间:2017-07-13 09:23:16 前端开发

在wget或curl查询中使用通配符

从目录下载可以在wget查询中使用通配符吗?基本上,我有一个网站,例如 www.download.example.com/dir/version/package.rpm 。然而,版本目录一直有变化,有时包含多个RPM包。是否有一个单一的wget查询,只会让我只有和版本目录中的所有包,而不知道该版本是什么?在我的理想世界中,查询将是这样的: wget www.download.example ..
发布时间:2017-07-13 09:15:52 开发方法

下载网页的正式本地副本

我想下载一个网页的本地副本,并获取所有的CSS,图像,JavaScript等。 b $ b 在以前的讨论中(例如这里和这里,两者都是两岁以上),通常提出两个建议: wget -p 和 httrack 。但是,这些建议都失败了。我非常感谢使用这些工具来完成任务的帮助;替代品也很可爱。 选项1: wget -p / p> wget -p 成功下载所有网页的先决条件(css,图像,js) ..
发布时间:2017-07-13 09:03:03 开发方法

如何使用客观C在iOS上下载并保存文件?

我是Objective-C的新手,我想从网络上下载一个文件(如果在网络服务器上已更改),并将其保存在本地,以便我的应用程序可以使用它。 主要是要实现什么 wget --timestamp 。 解决方案 我不知道wget是什么,但是要从网上获取文件并将其存储在本地,可以使用NSData: NSString * stringURL = @“http://www.som ..
发布时间:2017-07-13 08:57:37 移动开发

Google云端引擎 - 未能通过我的VM实例限制位于伊朗的网站

其实我无法卷入/ wget一个伊朗网站 french.irib.ir 将Google云计算引擎与Debian服务器配合使用 防火墙已打开... 其他网址工作 french.irib.ir 有人可以看看他的实例吗? 我可以wget一个默认页面,并卷曲这个伊朗网站的RSS源,为什么不从谷歌VM? 解决方案 由于出口限制,Google限制对某些国家/地区 ..
发布时间:2017-03-06 15:04:54 Linux/Unix