mechanize相关内容

屏幕抓取:让周围" HTTP错误403:要求通过robots.txt的&QUOT不允许的;

有没有办法来解决以下? httperror_seek_wrapper:HTTP错误403:被robots.txt禁止的请求 是解决这个问题的唯一途径联系网站所有者(barnesandnoble.com)..我建立一个网站,将带给他们更多的销售,不知道他们为什么会否认在一定深度的访问。 我使用机械化和BeautifulSoup上python2.6的。 希望有一个变通 解决方案 您可以尝试 ..

使用Javascript(和HTML渲染)引擎没有自动化的GUI?

有没有提供一个浏览器的功能,但并不需要实际的物理呈现在屏幕上?任何库或框架 我想自动化网页上的导航(机械化做到这一点,例如),但我想整个浏览器的体验,包括JavaScript。因此,我想有某种形式的虚拟浏览器,我可以用它来“点击链接”编程,有DOM元素和JS脚本内渲染它,并操纵这些元素。 解决方案preferably在Python,但我可以管理他人。 解决方案 PhantomJS 和 ..
发布时间:2016-07-27 21:19:43 前端开发

传递多个文件输入节点用的Watir(使用Ruby)

所以,我已经打了一下碰钉子的。我试图自动化测试情况下,我需要多个文件传递给输入节点,我无法弄清楚如何做到这一点。我可以使用机械化或的Watir,但发现,似乎在自动化相对大的话题很少的信息。在下面的代码片段,我用的Watir使用Ruby。我遇到的主要问题是,它似乎在选中多个文件,输入节点不再可见。输入节点不接受多个文件,并通过在单一路径中导致上传成功,像这样。 PATH1 =“/path/to/ ..
发布时间:2016-07-27 21:16:43 .NET Framework

在机械化的形式选择一个不愿透露姓名的文本字段(蟒蛇)

所以我做节目批量转换街道地址,使用机械化和python GPS坐标。这是采用机械化我的第一次。我可以在页面上选择的形式(“窗口2”),但在形式的文本框中没有名字。我如何选择文本框,使机械化可以进入我的文字?我试着通过ID选择它。但这是行不通的。 br.select_form(“窗体2”)作为#works据我所知 br.form [“搜索”] = [“1莱克伍德车程,基督城”]#这个是我无法选择 ..
发布时间:2016-07-27 21:14:08 Python

是否有一个相当于PHP Perl的WWW的::机械化?

我在寻找一个具有类似的功能Perl的 WWW库: :机械化,但对于PHP。基本上,它应该允许我提交HTTP GET和POST请求用一个简单的语法,然后解析结果页面,并在一个简单的格式返回所有形式和他们的田地,与页面上的所有链接一起。 我知道卷曲,但它是一个有点太准系统,以及语法是pretty丑(吨 curl_foo的($ curl_handle,...)语句 澄清: 我想要的东西更高层次的比 ..
发布时间:2016-07-27 21:02:52 PHP

使用python机械化不能自动登录(必须与QUOT;激活"特定的浏览器)

我似乎已经无法登录到网站,这需要浏览器authenticaton。 会发生什么事是当你第一次登录时,该网站将您重定向到一个网页说:“我们已经发送了一封电子邮件到您的电子邮件,点击验证这个浏览器的链接。” 我使用Python中机械化模块。该页面会登录,但是该网站从未承认“浏览器”,因此许多“请注册这个浏览器”的邮件!我试着给自定义标题以及添加一个cookie处理程序按照其他的例子......没有 ..
发布时间:2016-07-25 20:48:16 Python

使用Python机械化登录到使用NTLM身份验证页面

我想用机械化登录页面和检索一些信息。不过,无论我尝试验证它只是失败,错误code HTTP 401 上,你可以看到如下: R = br.open(的“http://内部”) 文件“BUI ... E \\ _mechanize.py”,线路203开放 文件“裴......摹\\机械化\\ _mechanize.py”,线路255, 在_mech_openmechanize._response. ..
发布时间:2016-07-25 20:03:00 Python

通过浏览器登录到Facebook和谷歌,而无需使用其API,使用Python

有没有经由浏览器Facebook和谷歌,但没有使用提供的API登录什么办法?到目前为止,我已经试过机械化与 cookielib , web浏览器, 要求和硒,但我没有得到任何满意的结果。我得到的最接近是登录使用机械化+ cookielib ,而是通过命令行。我有一个应用程序,所有我想要做的就是打开浏览器并打开了Facebook或谷歌的页面,并自动登录我在使用所提供的用户名和密码。 请注意:如果这 ..
发布时间:2016-07-25 19:44:08 Python

为什么这个ScraperWiki一个ASPX网站只返回搜索结果的同一页?

我试图用ScraperWiki的工具来刮的ASP供电的站点。 我想抓住从BBSmates.com网站的特定区域code BBSes的列表。该网站显示,每次20 BBS搜索结果,所以我要做的表单提交,以摆脱一个结果页下。 这博客文章帮我上手。我以为以下code会抓住的BBS上市的最后一页为314区code(79页)。 不过,我得到的回应是第一​​页。 URL ='http://bbsmat ..
发布时间:2016-06-15 22:53:55 C#/.NET

有没有一种工具,就像机械化为Android?

我创建一个Android应用程序,必须做一些网上冲浪的背景下,以提供给用户的服务。 我必须连接到该网站有没有API,它只是提供了标准的HTTP访问,具有广泛的cookie的使用,但(幸运的是我)没有太大的Javascript code。 我不知道是否有它的行为像蟒蛇机械化为Android,或者如果它是可以使用机械化自己的Andr​​oid应用程序库。 解决方案 我不知道它会工作在Andro ..
发布时间:2015-12-05 14:13:33 移动开发

可以机械化读AJAX? (红宝石)

可我得到的是通过AJAX使用机械化红宝石显示正确的数据/文本? 或者是有其他的脚本的宝石,让我这样做? 解决方案 机械化无法读取JavaScript的显示数据,因为它并没有实现一个JavaScript引擎(换句话说,它不能运行)。你需要一个浏览器要做到这一点,或一个程序,可以自动浏览器为你做它。 WATIR 是这样一个程序。 ..
发布时间:2015-11-30 01:40:25 前端开发

beautifulsoup和机械化得到AJAX调用结果

您好即时通讯使用python 2.5和beautifulsoup建立一个刮板 但在一个问题即时通讯的Stüble...的网页的一部分正在产生 后一些按钮的用户点击,whitch通过调用特定javacsript功能,使用适当的参数启动一个Ajax请求 有没有办法来模拟用户交互,并得到这样的结果?我碰到过一个机械化模块,但在我看来,这主要是用来处理表单工作... 我会AP preciate任何链接 ..
发布时间:2015-11-29 15:17:01 前端开发