wget相关内容

在wget-ing之前获取文件的文件大小到wget?

我想知道是否有一种方法提前检查可以通过 wget 下载的文件大小?我知道,使用 - spider 选项告诉我一个文件是否存在,但我也有兴趣找到该文件的大小。 解决方案 对我来说 - spider 会显示大小: $ wget --spider http://henning.makholm.net/ 启用蜘蛛模式。检查远程文件是否存在。 --2011-08-08 19:39:48 ..
发布时间:2016-12-20 13:18:51 其他开发

wget的的JavaScript +?

我有这个网页,使用客户端JavaScript到页面上的数据格式之前,它显示给用户。 是否有可能以某种方式使用的wget 下载网页,并使用某种形式的客户端的JavaScript引擎对数据进行格式化,因为它会在浏览器中显示? 解决方案 您也许可以做的东西像 PhantomJS 您可以编写一个脚本phantomjs将加载页面就像一个浏览器会,然后要么采取截图或使用JS检查页面,然后拉出数据。 ..
发布时间:2016-08-15 12:55:23 前端开发

如何做一个if语句基于wget的检索到的内容

我有这个命令的批处理文件 wget的www.example.com || powershell.exe命令 example.com返回1或0的内容类型明文 但无论返回1或0 powershell.exe命令没有得到运行。我期待的0响应导致正在执行的PowerShell命令的响应的长度为1按预期 解决方案 如果的wget 实用程序返回错误级别 退出code 的 0 或 1 ,你应该使用 ..
发布时间:2016-08-04 19:34:25 Windows 2008/2003/2000

从编辑标题停止的wget

我有wget的问题。当我下载用wget的东西,它显示了进度条的URL。我希望把我自己的名称和持有它。它类似于这样的问题:拿到冠军的wget远离(并保持我自己) code: 标题你好 wget的http://www.white.nl/custom/img/slides/slide2/glow.png 我怎样才能从编辑标题块的wget? -q显示什么和-nv它不会显示进度了,这是我希望看到的。 ..
发布时间:2016-08-04 19:18:23 Windows 2008/2003/2000

批处理脚本获得HTML网站和解析的内容(不wget的,卷曲或其他外部应用程序)

我需要只用CMD窗口functionallity工作。我需要两个瓦尔/字符串从一个网站的batchscript用于验证它的行动。不让它不要太简单本网站需要除了鉴别。 我发现这个地方: @set @ X = 0 / * :: ChkHTTP.cmd 关闭@echo SETLOCAL 设置“URL = HTTP://www.google.com” CSCRIPT / NOLOGO / E:JSc ..
发布时间:2016-08-04 16:19:41 Windows 2008/2003/2000

如何解决URL重定向?

我有许多短urls.Each URL的txt文件是由单一line.I分隔希望解决​​的URL,以获得最终link.Also某些URL重定向twice.How自动执行此得到最终的网址每行一个网址的输出格式? 更新: 输入文本文件: http://www.example.com/go/post-page-1 http://www.example.com/go/post-page-2 http: ..
发布时间:2016-08-04 09:13:20 Linux/Unix

没有任何理由为成功百胜更新导致后续wget的失败?

我正在为CentOS 6.4的机器一个bash安装脚本。在一个全新的安装我运行到这似乎是重复性的问题,但情况是不同寻常的。 设置脚本用root身份运行。第一步是运行不带选项的yum更新: 百胜更新 这以零退出code成功完成。下一步骤是检索EPEL转速使用wget: wget的http://dl.fedoraproject.org/pub/epel/6/i386/epel-release- ..
发布时间:2016-08-04 09:03:22 Linux/Unix

使用wget来通过FTP下载目录,但没有通过密码作为参数

当我没有到服务器的SSH访问,我平时下载的东西通过FTP,像这样的: wget的-r的ftp://用户名:@通服务器/路径/到/目录 我如何保持我的密码更安全?我不喜欢该密码是在命令中,但是当我尝试这样的事: wget的-r的ftp://用户名@服务器/路径/到/目录 这是行不通的。它给了我“登录不正确”的。 解决方案 您可以把您的凭据中的 〜/ .wgetrc 像这样: FTP ..
发布时间:2016-08-03 12:30:32 Linux/Unix

从下载网站图片

我想有一个网站上的一个画廊的本地副本。画廊显示了domain.com/id/1图片(增量为1 ID变),然后将图像存储在pics.domain.com/pics/original/image.format。有影像在HTML中确切的行是 < D​​IV ID =“bigwall”级=“右”> < IMG BORDER = 0 SRC =“HTTP://pics.domai ..
发布时间:2016-08-03 12:24:56 Linux/Unix

运行MySQL查询的wget完成下载文件后,

我需要运行在wget的一个特定的MySQL查询,这是在后台运行,下载完的文件。例如... HTTP://domain/file.zip 然后运行: 更新表 SET 状态 ='活'WHERE ID ='1234' 我怎么会去这样做? 解决方案 我会建议在子shell启动wget命令,这样可以保证它完成你运行你的mysql命令。在bash中,这是用括号完成。 也可以使 ..
发布时间:2016-08-03 12:23:37 PHP

WGET忽略--content-处置?

我试图运行一个命令下载并行3000文件。我使用Cygwin + Windows操作系统。 通过WGET终端下载一个文件: 的wget --no检查证书--content-处置--load饼干cookie.txt的\\ -p https://开头的用户名:password@website.webpage.com/文件夹/文件/下载/ 1?type = file 让我可以下载的文件ID为1奇, ..
发布时间:2016-08-03 12:16:48 Linux/Unix

使用wget和限制抓取链接的总数抓取网站

我想通过玩弄wget的工具,以了解更多有关抓取。我很感兴趣,我爬部门的网站,发现该网站上的第100个链接。到目前为止,下面的命令是我。我如何限制履带后100个链接停止? wget的-r -o output.txt的-l 0 -t 1 --spider -w 5 -A HTML -e =机器人的“http://www.example.com “ 解决方案 您不能。 wget的不支持此所以 ..
发布时间:2016-08-03 11:12:49 Linux/Unix

wget的:获得字段信息发送数据前,后

我设法让过去一个网站的登录表单,使用wget和--post数据和--save饼干选项。 现在我试着填写在网页中的某些领域,并做了提交。 问题是,有网页上,这是一个不同的值,每一次一个“图灵的隐藏字段。 我试了一下,就是打开网页,用装我的饼干,并获得图灵值。 然后做--post数据另一个wget的,把我在那里的所有领域,包括图灵领域。但是,这是行不通的。 此外,还有几种形式的网页上,所以我 ..
发布时间:2016-08-03 11:12:06 Linux/Unix

创建一个网页上的UNIX命令行静态副本/ shell脚本

我需要一个shell脚本来创建一个网页的静态副本(全媒体资源,如CSS,图像和JS在内)。此副本应该在任何浏览器中打开的下线。 有些浏览器也有类似的功能(另存为...网页,全部),它从一个网页创建一个文件夹,这个文件夹中改写外部资源为相对静态资源。 什么是方法来实现和完成这项在Linux命令行给定的URL? 解决方案 您可以使用的wget 是这样的: wget的--recursiv ..
发布时间:2016-08-03 10:48:38 Linux/Unix

URL编码bash脚本字符串

我写在我试图提交后的变量bash脚本,但是wget的是把它当作多个URL,我相信,因为它不是URLEN codeD盒... ...这是我的基本思路。 消息='我试图发布此信息“ wget的-O的test.txt http://xxxxxxxxx.com/alert.php --post数据'键= XXXX和放大器;消息='$消息“' 我收到错误,并且alert.php没有获得这个职位变数,再 ..
发布时间:2016-08-03 10:41:22 服务器开发

捕获的庆典时间脚本变量输出

我想这样的: TIMEFORMAT =%R; 富= $(时间wget的http://www.mysite.com) 回声$ foo的 和当我执行我看到我想要的输出,但人数不得变量foo的(回声$ foo的打印任何内容)。 这是为什么? 解决方案 您没有捕捉富任何事情,因为时间将其输出的标准错误。麻烦的是,在的wget 命令也将其大部分的输出对标准错误。要分割的两个流(从 wget的扔 ..
发布时间:2016-08-03 10:36:43 Linux/Unix