如何从命令行发送HTTP OPTIONS请求？
我试图使用cURL，但似乎默认情况下（Debian）不是编译HTTPS支持，我不想自己构建它。 wget 似乎有SSL支持，但我没有发现如何使用wget生成OPTIONS HTTP请求的信息。 解决方案 首先，默认情况下在Debian中安装的curl支持HTTPS，因为很久以前。 （很久以前，有两个单独的包，一个包含和一个没有SSL，但不是这样） 其次，您可以发送一个OPTIO
..
wget相关内容
wget / curl大文件从谷歌驱动器
我试图从一个脚本从谷歌驱动器下载一个文件，我有一个麻烦这样做。我尝试下载的文件是此处。 我在网上看了很多，我终于得到了一个下载。我得到文件的UID和较小的（1.6MB）下载正常，但是较大的文件（3.7GB）总是重定向到一个页面，询问我是否要继续下载没有病毒扫描。 这是我如何使第一个文件工作 - curl -L“https://docs.google.com/uc?export=
..
如何使用wget / curl将给定网页上的所有链接下载到.zip文件？
页面包含指向一组.zip文件的链接，所有这些文件都要下载。我知道这可以通过wget和curl完成。 解决方案 命令是： wget -r -np -l 1 -A zip http://example.com/download/ 选项含义： -r，--recursive指定递归下载。 -np，--no-parent不会上升到父目录。 -l，--lev
..
检索部分网页
有没有办法限制CURL将提取的数据量？我的屏幕抓取数据，一个页面是50kb，但我需要的数据是在页面的前1/4，所以我真的只需要检索页面的前10kb。 我问的是因为有很多数据需要监控哪些结果在我每月传输接近60GB的数据，当只有大约5GB的带宽是相关的。 我使用PHP处理数据，但是我灵活的数据检索方法，我可以使用CURL，WGET，fopen等。 > 我正在考虑的一种方法是
..
在wget或curl查询中使用通配符
从目录下载时，是否可以在wget查询中使用通配符？基本上，我有一个网站，比如说， www.download.example.com/dir/version/package.rpm 。然而，版本目录一直在变化，有时包含多个RPM包。有没有一个wget查询，只会得到我和所有的包在版本目录，而不知道是什么版本？在我的理想世界中，查询将是： wget www.download.example.co
..
如何使用cURL从GitHub下载tarball？
您正在使用
..
批处理脚本获取html网站和解析内容（无wget，curl或其他外部应用程序）
我需要使用Windows cmd功能。我需要从网站的两个vars /字符串在批处理脚本中使用它验证动作。为了不让它太简单，此网站需要另外的身份验证。 我发现这个地方： @set @ x = 0 / * :: ChkHTTP.cmd @echo off setlocal set“URL = http：//www.google.com” cscript / nologo
..
发送POST请求wget
我正在尝试保存包含dopostback链接的CSV文件。 这里是标题： http://pregame.com/sportsbook_spy/default.aspx POST /sportsbook_spy/default.aspx HTTP / 1.1 Host：pregame。 COM 的User-Agent：Mozilla的/ 5.0（X11; Ubuntu的，L
..
wget下载CSS @import，但忽略它们中引用的文件
我使用 wget 如下： wget - -page-requisites --convert-links -e robots = off \ --span-hosts --restrict-file-names = windows \ --directory-prefix = $ ASSETS_DIR - 无目录http：// myhost / home H
..
Cronjob使用CURL / WGET
我想使用CURL或WGET每15分钟运行一次PHP脚本。 此PHP文件位于本地文件夹中： /home/x/cron.php $ b b 我如何使用CURL / WGET来运行它？ 当我尝试运行时，它不工作 curl /home/x/cron.php 谢谢！ 解决方案 CURL和WGET对于像 http://myhost.c
..
使用wget和cron下载网页
好的，所以我知道我可以使用： wget -r 获取网页并保存。我的问题是，我如何使用cron和wget以每小时或甚至每分钟的基础获取一个网页，然后将它们保存到一个文件夹，zip和tarball它，然后继续添加以供日后审查。 我知道我可以手动做到这一点，我的目标是基本上下载它10 - 20分钟，大约4小时（无论如果它更长
..
Cronjob与密码保护网站（.htaccess）
我想创建一个cronjob，每X次打开一个网页。 此网页受密码保护.htaccess（user = admin，passwor = pass ）。我给出的指令如下： wget --user = admin --password ='pass'http：// www .mywebsite.com / test.php 但是cron给我以下错误： - 20
..
Cron作业创建空文件每次运行
我有一个php脚本我想运行每一分钟，看看是否有新闻稿需要张贴。我在cPanel中使用“wget”的cron命令，但我注意到（几天后），这是在主目录中创建一个空白文件，每次运行。 谢谢。 解决方案 当wget运行时，默认情况下，它会从我需要记住的内容生成一个输出文件。 您可能需要使用wget的一些选项并且使用 / dev / null 作为目标文件（这是一个“特殊文件”，它将“写
..
WGET超时？
我使用Wget通过cron运行PHP脚本，使用以下命令： wget -O - -t 1 http://www.example.com/cron/run 脚本将最大5-6分钟做其处理。 解决方案 根据 wget的手册页，有几个选项相关到超时 - 并且有一个默认读取超时900s - 所以我说，是的，它可以超时。 这里是有问题的选项：
..
使用WGET运行cronjob PHP
我试图做一个cron，并每5分钟运行一个url。 我试图使用WGET，但我不想下载服务器上的文件，所有 这是我使用的（crontab）： * / 5 * * * wget http://www.example.com/cronit.php b $ b 有没有任何其他命令使用除了wget只是运行的url而不是downlaod它？ 解决方案 您可以告诉wget不能以
..
wget连接由对等重置
我尝试通过使用wget从我们的网络服务器访问www.indeed.com，但它引发“连接重置对等”错误。 wget www.indeed.com --2013-02-05 03：03：12--（try：3）http://www.indeed.com/ 连接到www.indeed.com | 208.43.224.140 |：80 ...已连接。 HTTP请求发送，等待响应..
..
可以为每个http请求分配一个新的IP地址？
每次需要使用wget等命令发出http请求时，我可以更改或分配我的服务器一个新的IP地址。 感谢所有 更新 这是Tor项目试图实现的原因。我不想留下一个痕迹什么请求我的服务器，我认为不断更改我的IP地址可以帮助我和我的用户使用互联网，而没有被跟踪。 ：） 解决方案 如果你有一个庞大的代理池，你可以使用，那么我想你可以在他们之间切换，不，你通常不能只是更新你的IP地址，只要
..
为什么wget忽略url中的查询字符串？
我想使用wget下载以下18个html文件： http://www.ted.com/ talks / quick-list？sort = date& order = desc& page = 18 http://www.ted.com/talks/quick-list?sort=date&order=desc&page=17 ... http://www.ted.com/tal
..
如何grep下载速度从wget输出？
我需要使用 wget 下载多个文件，并测量下载速度。 我用下载 wget -O / dev / null http://ftp.bit.nl/pub/OpenBSD/4.7/ i386 / floppy47.fs http://ftp.bit.nl/pub/OpenBSD/4.7/i386/floppyB47.fs ，输出为 - 2010-10-11
..
部分下载wget
我看到 curl 支持部分下载 -range RANGE仅检索范围内的字节 示例 curl -r 0-99 http://foo.com/bar.mp4 $但是， wget 会完成类似的事情吗？ 解决方案 不幸的是 wget 没有这个功能（至少用我的 GNU Wget 1.10.2（Red Hat modified） code>），这是非常讨厌。您
..