wget相关内容

wget：无法解析主机地址`http'

当我执行 wget $ wget google.com --2014-07-18 14：44：32-- http://google.com/ 解析http（http）...失败：名称或服务未知。 wget：无法解析主机地址`http' 我遇到过这个问题早些时候我得到任何网页（而不是http），这要求我将我的名字服务器添加到 /etc/resolv.conf 。 ..
发布时间：2018-07-10 09:36:43 其他开发

通过http获取目录列表

有一个目录通过网络提供，我有兴趣监控。它的内容是我正在使用的各种版本的软件，我想编写一个我可以运行的脚本来检查那里的内容，并下载任何比我已经获得的更新的内容。 有没有办法，比如用 wget 或其他东西来获取目录列表。我已经尝试在目录上使用 wget ，这给了我html。为了避免解析html文档，有没有办法检索像 ls 这样的简单列表？ 解决方案 我只是找到了办法： $ wge ..
发布时间：2018-07-09 15:19:27 其他开发

网站不接受wget用户代理标头

当我运行此命令时： wget --user-agent =“Mozilla / 5.0（Macintosh; Intel Mac OS） X 10.8; rv：21.0）Gecko / 20100101 Firefox / 21.0“http://yahoo.com ...我得到了这个结果（文件中没有其他内容）： ..
发布时间：2018-07-09 15:13:46 其他开发

如何使用Python请求来伪造浏览器访问？

我想从下面的网站获取内容。如果我使用Firefox或Chrome等浏览器，我可以得到我想要的真实网页，但如果使用Python请求包（或 wget 命令）来获取它，返回完全不同的HTML页面。我认为该网站的开发者已经为此做了一些阻止，所以问题是： 如何通过使用python请求或命令wget来伪造浏览器访问 http：//www.ichangtou。 com /＃company：data_ ..
发布时间：2018-06-13 10:06:55 前端开发

如何在PHP中使用wget或curl获取网页上所有路径/文件的列表？

我使用 wget -p $ url 来获取网页上的所有文件，以便我可以获取列表。但是对于一些URL，事实证明只有index.html可以被wget获取。有没有办法通过wget或cURL获取特定URL上的文件列表？我需要检查请求头和响应头吗？ 解决方案 有些服务器不允许您浏览目录列表，如果有这个目录中的默认文档，它接管了，你也无法浏览。 你需要实现一个解析所有路径，文件和链接的蜘蛛，创 ..
发布时间：2018-06-06 19:56:07 PHP

在Hadoop中使用wget？

我有一个数据集（〜31GB，带有扩展名为.gz的压缩文件），它存在于Web位置上，我想在其上运行我的Hadoop程序。该程序是对Hadoop附带的原始WordCount示例的轻微修改。就我而言，Hadoop安装在远程机器上（我通过ssh连接到该机器，然后运行我的作业）。问题是我无法将这个大数据集传输到远程计算机上的主目录（由于磁盘使用配额）。因此，我试着搜索是否有一种方法可以使用wget获取数据集 ..
发布时间：2018-05-31 20:00:43 Java开发

有什么方法可以将egrep和wget嵌入到我的应用程序中？

我需要在我的应用程序中使用好的老egrep和wget给我的羽毛，但是我不能将它们作为 单独执行，我需要它们作为嵌入式函数在我的应用程序中 是否有任何如何做到这一点？为了获得 wget 功能，您可以使用 a href =“http://curl.haxx.se/libcurl/”rel =“nofollow noreferrer”> libcurl 。 ..
发布时间：2018-05-28 19:49:31 C/C++开发

只蜘蛛网站和返回网址

我正在寻找一种伪蜘蛛网站的方式。关键是我实际上不需要内容，而是一个简单的URI列表。我可以通过 Wget 使用来合理地接近这个想法 - spider 选项，但是当通过 grep 输出时，我似乎无法找到正确的方法来实现它： wget --spider --force-html -r -l1 http://somesite.com | grep'Saving to：' gr ..
发布时间：2018-05-28 19:08:14 其他开发

如何通过curl或wget下载Google Drive网址

有没有办法通过curl或wget下载公开浏览的Google Drive网址？例如，可以执行以下操作： curl -O myfile.xls https://drive.google.com/ uc？export = download& id = 1Wb2NfKTQr_dLoFJH0GfM0cx-t4r07IVl 请注意，我正在寻找可公开浏览的文件，无需登录我的Google ..
发布时间：2018-05-10 14:19:06 其他开发

通过wget从ftp服务器下载文件失败

我使用wget从FTP服务器下载文件。如果我输入 ftp：//用户名：password@datatransfer.cj.com/some_path/file 进入我的浏览器，该文件被下载正常。 我相反​​， wget ftp：// username：password@datatransfer.cj.com/some_path/file -O / path ..
发布时间：2018-04-13 14:12:29 服务器开发

如何在任何时候恢复ftp下载？ （shell脚本，wget选项）？

我想从ftp服务器下载一个大小为50-100MB的大文件。在每一点上，我想能够设置“开始”点和我想要的块的长度。我不会让“先前”的块保存在本地（即我不能让程序“恢复”下载）。 最好的方法是什么？我主要使用wget，但会更好吗？ 您好！我对预编译/ inbuild函数非常感兴趣，而不是为此使用库...因为wget / ftp（也是，我认为）允许恢复下载，我不知道这是否会成为问题...（我 ..
发布时间：2018-04-13 13:52:32 其他开发

仅限于FTP目录中的文件名

我试图在ftp目录下创建一个可用的动态文件列表。我认为wget可以帮助这个，但我不确定如何......所以我的问题是：什么是使用wget从ftp目录中检索文件名的语法？谢谢你的帮助！ -Dom 解决方案 只要执行 wget --no-remove-listing ftp：// myftpserver / ftpdirectory / 这会生成两个文件： .list ..
发布时间：2018-04-13 13:45:16 其他开发

在Unix上将非常大的目录分割成更小的目录

如何在UNIX上将包含潜在的数百万个文件的非常大的目录拆分成一些自定义的最大数量的文件（比如每个目录100个）的小目录？ 如果您知道如何将 wget 下载文件自动下载到这些子目录，则可获得奖励积分。因此，如果在 www.example.com 的顶级路径中有一百万个 .html 页，例如 /1.html /2.html ... / 1000000。 html ..
发布时间：2017-11-06 21:50:56 服务器开发

linux - wget匿名登录错误

wget时报匿名登录错误 或者英文版提示： Logging in as anonymous ... Login incorrect. 对应服务器的proftpd重启过了，一样的... 不是目录找不到哦，也不是用户目录没有可执行权限... 困扰了许久，求遇到过的同学分享...感谢 ..
发布时间：2017-09-06 06:54:38 服务器开发

wget - segmentfault可以被站点镜像？

我发现这个命令，可以每隔两秒，以断点重续的方式镜像站点 https://segmentfault.com/ wget -c -w 2 -m https://segmentfault.com/ 镜像一个站点有两种方式： 1。获得整个网站的目录结构 2。通过网页链接的方式进行遍历。 先谈方式1。 目前的apache服务器，默认开启了禁止站点目录list的功能。 外部访问者在默认情 ..
发布时间：2017-09-06 03:01:12 其他开发

wget - windows窗口打开.tar下载链接，直接保存有2.4G，为什么linux下载该.tar文件却只有5.5k？

问 题 跑tensorflow示例代码(models/tutorials/rnn/translate),代码直接包含了数据集下载部分。但是数据集(.tar)下载总是不完整，只有5.5KB，导致后续打不开，程序跑不起来。 我把下载链接在windows浏览器里打开，直接弹出保存的窗口，保存发现正常来说那个.tar文件应该有2.4G。后来在linux下用wget命令，也还是下载不完整，还是只有5 ..
发布时间：2017-09-06 01:42:59 服务器开发