wget相关内容

wget/curl 来自谷歌驱动器的大文件

我正在尝试通过脚本从 google 驱动器下载文件，但在执行此操作时遇到了一些问题.我要下载的文件是这里.p> 我在网上查了很多资料，终于设法下载了其中一个.我得到了文件的 UID，较小的文件 (1.6MB) 下载正常，但是较大的文件 (3.7GB) 总是重定向到一个页面，询问我是否要在不进行病毒扫描的情况下继续下载.有人可以帮我通过那个屏幕吗? 这是我如何让第一个文件工作的 - cur ..

发布时间：2022-01-10 18:28:34 curl google-drive-api google-colaboratory wget google-docs 其他开发

WGET 仅 FTP 目录中的文件名

我正在尝试创建 ftp 目录中可用文件的动态列表.我认为 wget 可以帮助解决这个问题，但我不确定如何......所以我的问题是: 使用 wget 从 ftp 目录检索文件名的语法是什么? 解决方案 执行即可 wget --no-remove-listing ftp://myftpserver/ftpdirectory/ 这将生成两个文件:.listing(这是您要查找的文件) ..

发布时间：2022-01-09 11:39:11 ftp wget 其他开发

如何随时恢复 ftp 下载?(shell 脚本，wget 选项)?

我想从 ftp 服务器下载一个 50-100MB 的大文件.在每一点，我都希望能够设置“起始"点和我想要的块的长度.我不会将“以前的"块保存在本地(即我不能要求程序“恢复"下载). 最好的方法是什么?我主要使用 wget，但其他的会更好吗? 我真的对预建/内置功能感兴趣，而不是为此目的使用库...因为 wget/ftp(另外，我认为)允许恢复下载，我不知道这是否有问题......(我无 ..

发布时间：2022-01-09 11:38:48 shell ftp wget 其他开发

如何从 wget 输出 grep 下载速度?

我需要使用 wget 下载多个文件并测量下载速度. 例如我用 下载 wget -O/dev/null http://ftp.bit.nl/pub/OpenBSD/4.7/i386/floppy47.fs http://ftp.bit.nl/pub/OpenBSD/4.7/i386/软盘B47.fs 输出是 --2010-10-11 18:56:00-- http://ftp.bit. ..

发布时间：2022-01-06 13:35:48 linux command-line grep wget 服务器开发

抓取网站并仅返回 URL

我正在寻找一种对网站进行伪蜘蛛化的方法.关键是我实际上并不想要内容，而是一个简单的 URI 列表.我可以通过 Wget 使用 --spider 来合理地接近这个想法code> 选项，但是当通过 grep 管道输出时，我似乎找不到正确的魔法来使它工作: wget --spider --force-html -r -l1 http://somesite.com |grep '保存到:' grep ..

发布时间：2022-01-06 13:21:44 grep uri wget web-crawler 其他开发

WGET 是否超时?

我正在使用 Wget 通过 cron 运行 PHP 脚本，命令如下: wget -O - -q -t 1 http://www.example.com/cron/run 该脚本最多需要 5-6 分钟来进行处理.WGet 会等待它并给它所有需要的时间，还是会超时? 解决方案 根据 wget 的手册页，有几个与超时相关的选项——默认读取超时为 900 秒——所以我说，是的，它可能会超时. ..

发布时间：2022-01-03 23:33:13 linux cron wget 服务器开发

使用 WGET 运行 cronjob PHP

我尝试做一个 cron 并每 5 分钟运行一个 url. 我尝试使用 WGET 但我不想下载服务器上的文件，我只想运行它. 这是我使用的(crontab): */5 * * * * wget http://www.example.com/cronit.php 除了 wget 之外，还有其他命令可以用来运行 url 而不是下载它吗? 解决方案 您可以通过几种不同的方式告诉 w ..

发布时间：2022-01-03 23:16:14 php linux cron wget PHP

如何使用 wget/curl 下载给定网页上 .zip 文件的所有链接?

一个页面包含指向一组 .zip 文件的链接，我想下​​载所有这些文件.我知道这可以通过 wget 和 curl 来完成.怎么做的? 解决方案 命令是: wget -r -np -l 1 -A zip http://example.com/download/ 选项含义: -r, --recursive 指定递归下载.-np, --no-parent 不上升到父目录.-l, --leve ..

发布时间：2022-01-02 17:01:06 curl download wget 其他开发

使用 Wget 进行多个同时下载?

我使用 wget 下载网站内容，但是 wget 会一个一个下载文件. 如何使用 4 个同时连接进行 wget 下载? 解决方案 使用 aria2 : aria2c -x 16 [url]# |# |# |#---->连接数 http://aria2.sourceforge.net 我喜欢它！！ ..

发布时间：2022-01-02 16:45:42 download wget 其他开发

如何下载包含所有文件和子目录的 HTTP 目录，因为它们出现在在线文件/文件夹列表中?

有一个我可以访问的在线 HTTP 目录.我尝试通过 wget 下载所有子目录和文件.但是，问题是当 wget 下载子目录时，它会下载 index.html 文件，该文件包含该目录中的文件列表，而无需下载文件本身.> 有没有什么方法可以无深度限制下载子目录和文件(好像我要下载的目录只是我想复制到我电脑的文件夹). 解决方案 解决方案: wget -r -np -nH --cut-dirs ..

发布时间：2022-01-02 16:39:10 html http get download wget 前端开发

wget 命令下载文件并另存为不同的文件名

我正在使用 wget 命令下载文件.但是当它下载到我的本地机器时，我希望它被保存为不同的文件名. 例如:我正在从 www.examplesite.com/textfile.txt 下载文件 我想使用 wget 将文件 textfile.txt 在我的本地目录中保存为 newfile.txt.我使用 wget 命令如下: wget www.examplesite.com/textfile ..

发布时间：2022-01-02 16:31:36 download wget 其他开发

如何使用目标 C 在 iOS 上本地下载和保存文件?

我是 Objective-C 的新手，我想从 Web 下载一个文件(如果它在 Web 服务器上发生了更改)并将其保存在本地，以便我的应用程序可以使用它. 主要是我想实现 wget --timestamp 所做的. 解决方案 我不太清楚 wget 是什么，但是要从网上获取文件并存储在本地，可以使用 NSData: NSString *stringURL = @"http: ..

发布时间：2022-01-02 16:28:29 objective-c ios download wget local-storage 移动开发

下载网页的本地工作副本

我想下载一个网页的本地副本并获取所有的 css、图像、javascript 等. 在之前的讨论中(例如 此处 和 需要更正以指向 foo.css 在 css 文件中，background-image: url(/images/bar.png) 同样需要调整. 有没有办法修改 wget -p 使路径正确? 选项 2:httrack httrack 似乎是镜像整个网站的好工具 ..

发布时间：2022-01-02 16:26:32 download wget offline-browsing 其他开发

如何限制请求python库中HTTP请求的下载速率?

是否可以使用 requests Python 库来限制 GET 请求的下载速率?例如，使用这样的命令: r = requests.get('https://stackoverflow.com/') ...可以限制下载速度吗?我希望有类似于这个 wget 命令的东西: wget --limit-rate=20k https://stackoverflow.com/ 我知道使用 urllib2 ..

发布时间：2021-12-31 19:53:59 python http httprequest wget python-requests Python

如何为 wget 设置代理?

我想使用代理下载带有 wget 的东西: HTTP 代理:127.0.0.1端口:8080 代理不需要用户名和密码. 我该怎么做? 解决方案 对于系统的所有用户通过 /etc/wgetrc 或对于只有 ~/.wgetrc 的用户 文件: use_proxy=yeshttp_proxy=127.0.0.1:8080https_proxy=127.0.0.1:8080 或通过 - ..

发布时间：2021-12-31 19:08:31 linux proxy wget 服务器开发

Bash 中的并行 wget

我从一个网站上获得了一堆相对较小的页面，想知道是否可以在 Bash 中以某种方式并行执行这些操作.目前我的代码看起来像这样，但执行需要一段时间(我认为拖慢我的是连接延迟). for i in {1..42}做wget "https://www.example.com/page$i.html"完毕 我听说过使用 xargs，但我对此一无所知，而且手册页非常混乱.有任何想法吗?甚至可以并行执行此操 ..

发布时间：2021-12-30 21:07:41 bash parallel-processing wget 其他开发

在 bash 脚本中对字符串进行 URL 编码

我正在编写一个 bash 脚本，我试图在其中提交一个 post 变量，但是 wget 将其视为多个 URL 我相信因为它不是 URLENCODED ......这是我的基本想法 MESSAGE='我正在尝试发布此信息'wget -O test.txt http://xxxxxxxxx.com/alert.php --post-data 'key=xxxx&message='$MESSAGE'' ..

发布时间：2021-12-27 23:06:20 linux bash command-line wget urlencode 服务器开发

在 Cygwin 中的 HTTPS URL 上运行 wget 时，如何修复证书错误?

例如，运行 wget https://www.dropbox.com 会导致以下错误: 错误:“www.dropbox.com"的证书不受信任.错误:“www.dropbox.com"的证书没有已知的颁发者. 解决方案 看到这里目前的 hacky 解决方案，我觉得我毕竟必须描述一个合适的解决方案. 首先，您需要通过 Cygwin 的 setup.exe 安装 cygwin 包 ca-c ..

发布时间：2021-12-26 19:43:34 https cygwin certificate wget 其他开发

wget + JavaScript?

我有这个网页，它使用客户端 JavaScript 来格式化页面上的数据，然后才显示给用户. 是否有可能以某种方式使用 wget 下载页面并使用某种客户端 JavaScript 引擎来格式化数据，就像它在浏览器中显示的那样? 解决方案 你或许可以使用 PhantomJS 您可以编写一个 phantomjs 脚本，它会像浏览器一样加载页面，然后截取屏幕截图或使用 JS 来检查页面并 ..

发布时间：2021-12-25 11:40:40 javascript html browser wget 前端开发

如何使用 Selenium 下载此视频

我正在尝试制作一个 python 脚本来从animefreak.tv 下载视频，这样我就可以在旅途中离线观看它们.另外，我认为这是学习一些网页抓取的好机会. 到目前为止我写这个是为了从这个链接下载 http://animefreak.tv/watch/hacklegend-twilight-bracelet-episode-1-english-dubbed-online-free URL ..

发布时间：2021-12-23 20:41:45 python selenium web-scraping beautifulsoup wget Python