wget相关内容

如何将wget输出传输到文件或数据库?

我尝试使用小型脚本从多个网页下载字段。一方面,我只能从一个页面...,但我真正的问题是,我不知道如何把输出关闭到一个数据库表?如何从curl / lynx | grep(这将是所有列表项)的输出,并将其列表项列表项移动到我的数据库中的表或CSV,其中它将准备好导入到数据库? #!/ bin / bash lynx --source“http: /www.thewebsite.com\ ..
发布时间:2017-03-06 14:25:29 Linux/Unix

更改标题和保存文件

当我在example.com/name.php?id=1&image=33我可以看到一个jpg,但我不能保存它。在chrome开发工具,我可以看到jpg的路径,但我不能访问它直接与url。 如何使用wget或curl(或php中的其他)来保存此文件?我想我需要卷曲jpg链接,但发送信息到路径的服务器,我可以看到的图像,但我只是不能这样做。 如果有人知道如何做到这一点请详细说明,因为我认 ..
发布时间:2017-03-06 14:24:31 PHP

为什么curl允许使用文件URL方案,而不是wget

这个问题是指curl 7.21.4和GNU Wget 1.13.4,我不知道答案是否具体版本。 使用文件URI方案我可以使用 curl 获取本地文件 $ curl file://localhost/Users/dave/.vimrc .vimrc的内容 然而,如果我尝试使用 wget 错误: $ wget file://localhost/Users/d ..
发布时间:2017-03-06 03:33:12 Linux/Unix

为什么不应该wget获取500响应的响应内容?

此问题是 wget 中的HTTP 500错误的后续操作 服务器错误 wget 将不会获取响应的内容,而 curl 确实 curl ,或者 所以我真的很好奇,为了更好地理解为什么 wget code>将无法加载内容,没有很多选项:通常服务器发送错误解释,为什么忽略它? 解决方案 根据 http://savannah.gnu.org/ bugs /?27303#comment ..
发布时间:2017-03-06 02:48:10 Linux/Unix

命令行URL获取与JavaScript能力

我使用curl,在php和httplib2在python中获取URL。 但是,有一些页面使用JavaScript 那么,有没有可以处理JavaScript的命令行实用程序? 要知道我的意思是去:monster.com并尝试搜索一个工作。 你会看到Ajax以后得到工作的名单。所以,如果我想根据我的关键字搜索来提交工作,我会得到没有工作的页面。 但通过浏览器工作。 ..
发布时间:2017-03-06 02:23:53 前端开发

有PHP的HtmlUnit端口吗?

Java库 的HtmlUnit可以让你请求一个给定的URL的内容(我叫它也将执行将在该页面的加载事件上执行的javascript)。我正在寻找此相同的功能,但在PHP。 这是我试图解决的问题是,我试图卷曲/ wget的/ get_file_contents到url,有一点javascript的页面加载运行...这个javascript不是用我正在使用的方法执行...我想使用的东西,可以实现“ ..
发布时间:2017-03-06 02:19:52 PHP

从github下载tarball无curl

我有一个嵌入式系统,其中我不能安装任何东西,唯一可以使用的工具来获取一些东西是wget。原来你不能做同样的事情与wget,你可以用curl。我不能交叉编译这个系统,所以我需要诉诸Python或shell脚本。有一个纯Python的Git实现,称为Dulwich,实际上有一些C代码,我需要交叉编译...所以我甚至诉诸于调查,FYI。 我需要的是从github存储库获取代码,明显的解决方案是使用 ..
发布时间:2017-03-06 02:01:47 服务器开发

为什么curl不工作,但wget工作?

我同时使用curl和wget获取此网址: http://opinionator.blogs。 nytimes.com/2012/01/19/118675/ 对于curl,它根本不返回任何输出,但是使用wget,它返回整个HTML来源: 这里是2个命令。我使用了相同的用户代理,并且都来自同一个IP,并且跟随重定向。 URL是完全相同的。对于curl,它会在1秒后立即返回,因此我知道这不是 ..
发布时间:2017-03-06 01:51:37 Linux/Unix

httrack wget curl scrape&取

互联网上有许多工具可以下载网站的静态副本,例如HTTrack。还有许多工具,一些商业,用于从网站,如Mozenda“刮”内容。然后有一些工具,显然内置在像PHP和* nix这样的程序,你可以“file_get_contents”或“wget”或“cURL”或只是“file()”。 我对所有这一切完全困惑,我认为主要原因是我所遇到的描述都没有使用相同的词汇。在表面上,至少,似乎他们都在做同样的 ..
发布时间:2017-03-06 01:05:03 Linux/Unix

在linux服务器上保存完整网页的最好方法是什么?

我需要在我的linux服务器上归档完整的页面,包括任何链接的图像等。寻找最好的解决方案。有没有办法保存所有资源,然后重新链接它们在同一目录中工作? 我曾经考虑过使用curl,但我不确定如何做所有这一切。 有没有办法在服务器上使用firefox并在地址加载或类似之后复制临时文件? / p> 任何输入欢迎。 编辑: 似乎wget是'不'工作,因为文件需要被渲染。我有fir ..
发布时间:2017-03-06 00:57:44 服务器开发

脚本到移动设备适合性测试

我想编写一个shell / python脚本,它将检查网站是否适合移动设备。使用浏览器可以轻松地访问 - https://www.google.com/webmasters/tools/mobile- friendly /?url = 例如.- https://www.google.com/webmasters/tools/mob ..
发布时间:2017-03-06 00:55:08 Python

在重定向后获取网址

我需要在网页重定向后使用curl或wget获取最终网址。 例如 http://google.com 可能会重定向到 http://www.google.com 。 内容容易获取(例如 curl --max-redirs 10 http://google.com -L ),但我只对最终的网址感兴趣(在前一种情况下 http://www.google.com )。 有任何方法,只使用 ..
发布时间:2017-03-06 00:43:46 服务器开发

如何从bash从zippyshare下载?

任何人都可以帮助我如何从zippyshare.com使用bash(服务器与CentOS)下载文件? 他们的下载按钮用闪光灯制作,所以我不能检索下载链接。 解决方案 它有点hacky。我一直在使用 wget 自己做一段时间。诀窍是让服务器认为请求是从浏览器发出的,并且要做到这一点,你需要几个事情​​: 下载链接(文件的实际链接) 链接引荐来源网址(带有下载按钮的网页) Zippy ..
发布时间:2017-03-05 23:14:09 前端开发

wget或curl从stdin

我想从stdin提供网址时下载网页。基本上一个进程连续生成URL到stdout /文件,我想管道他们wget或curl。 这似乎很好: tail 1.log | wget -i - -O - -q 但是当我使用'tail -f' (缓冲或wget正在等待EOF?): tail -f 1.log | wget -i - -O - -q ..
发布时间:2017-03-05 23:13:43 服务器开发

使用wget或curl下载Xcode

我想使用wget或curl从Apple Developer网站下载Xcode。 当我运行这个命令: wget \ --post-data =“theAccountName = USERNAME& theAccountPW = PASSWORD”\ --cookies = on \ --keep-session-cookies \ --save-cookies = co ..
发布时间:2017-03-05 22:44:42 Linux/Unix