mechanize相关内容

通过POST请求发送二进制图像

我正在尝试发布帖子,以将img上传到 https://pasteboard.co/,但我总是收到500条回复,告诉我文件丢失. 该文件确实存在,并且路径正确,我不知道问题出在哪里. import mechanicalsoup browser = mechanicalsoup.StatefulBrowser() browser.set_user_agent( 'Mozilla/ ..
发布时间:2020-05-08 01:02:58 Python

Python Mechanize-如何在单个.open()调用中添加标头?

我正试图解决某种没有API的服务,因此决定尝试机械化(我通常使用urllib). 如何为一个open呼叫添加特定的标头? 或者有没有一种方法可以用自己的标头构造一个Request实例,然后让我的mechanize.Browser实例处理它? browser = mechanize.Browser() headers = [ ('Accept', 'text/javascrip ..
发布时间:2020-05-08 01:02:51 Python

错误-urlopen错误[Errno 8] _ssl.c:504:发生违反协议的EOF

我的目的是在输入google搜索词后从第一页的所有链接中提取html.我在代理后面工作,所以这是我的方法. 1.我首先使用机械化形式输入搜索词,从而正确设置了代理和机器人. 2.提取链接后,Ive使用了一个全局使用urllib2.ProxyHandler的打开程序来单独打开这些URL. 但是,这给了我这个错误.无法弄清楚. urlopen error [Errno 8] _ ..
发布时间:2020-05-08 01:02:47 Python

Web Scraper用于python中的动态表单

我正在尝试填写此网站的表单 http://www.marutisuzuki.com/Maruti-Price.aspx . 它包含三个下拉列表.一是汽车的模型,二是州,三是城市.前两个是静态的,第三个是city,它是根据state的值动态生成的,正在运行一个onclick Java脚本事件,该事件获取一个州中相应城市的值. 我熟悉python中的机械化模块.我遇到了几个链接,这些链接告 ..
发布时间:2020-05-08 01:02:45 Python

在Debian上实现Python 3机械化的最简单方法是什么?

我最近想将使用mechanize.Browser的刮板移植到Python3.我没有找到任何python3-mechanize软件包或类似的东西.我还不熟悉带有一些特殊过程的Python模块构建,因此我不知道该如何在其中使用2to3.有什么建议吗? @edit: 我接受Sibi的答案,因为它是目前最好的答案.如果它能指出更好的解决方案,我将很高兴以此方式授予其他任何答案. 解决方案 机 ..
发布时间:2020-05-08 01:02:42 Python

机械化getaddrinfo错误

我编写了一个脚本,该脚本将遍历数据库中的所有客户,验证其网站URL是否有效,并尝试在其主页上找到一个Twitter链接.我们有超过10,000个网址可供验证.在验证了一部分网址之后,我们开始为每个网址获取getaddrinfo错误. 以下是刮取单个URL的代码的副本: def scrape_url(url) url_found = false twitter_name = ..
发布时间:2020-05-08 01:02:40 其他开发

使用ruby机械化捕获超时错误

我具有机械化功能,可以使我退出站点,但是在极少数情况下,它会使我退出.该功能涉及到特定页面,然后单击注销按钮.在偶尔退出页面或单击“退出"按钮时,机械化有时会超时,从而导致代码崩溃.因此,我进行了一次小小的尝试,似乎可以正常工作,如第一部分代码所示. def logmeout(agent) page = agent.get('http://www.example.com/') age ..
发布时间:2020-05-08 01:02:35 其他开发

如何在Rails中为Mechanize设置自定义用户代理

我知道您有一组预定义的别名,例如,可以通过设置agent.user_agent_alias ='Linux Mozilla'来使用,但是如果我要设置自己的用户代理,那在写Web爬网程序时该怎么办?并希望识别它,以便我索引的网站.就像Googlebot. 似乎有一个user_agent方法,但我似乎找不到任何有关其功能的文档. 解决方案 您可以通过别名设置用户代理 a = Mec ..
发布时间:2020-05-08 01:02:30 其他开发

使用机械化登录网页

这是我第一次使用Python编程的经验,我正尝试登录此 网页.搜寻后,我发现许多人建议使用mechanize.只是为了确保在我编写代码之前我已经正确设置了一切,我才从网站下载了mechanize zip并将python脚本保存在未压缩的机械文件夹中. 到目前为止,我已经使用发现的不同示例获得了这段代码: import mechanize theurl = 'http://voyager. ..
发布时间:2020-05-08 01:02:28 Python

Selenium Webdriver vs机械化

我有兴趣以某种形式自动化我经常访问的网站的重复数据输入.到目前为止,我所寻找的可以无头的方式提供支持的工具可能是Selenium WebDriver和Mechanize. 我的问题是,一次使用与另一次使用是否存在根本的技术差异?硒主要用于测试.我还注意到有些人用它来做我要寻找的东西,这就是自动化数据输入.在这种情况下,测试成为第二个好处. 我是否有理由不使用Selenium来完成我对M ..

如何获取许多网站的缩略图屏幕快照?

我有2500个网站的列表,需要抓取它们的缩略图.我该怎么办? 我可以尝试使用Perl或Python解析站点,Mechanize会是一件好事.但是我对Perl不太了解. 解决方案 这是Perl解决方案: use WWW::Mechanize::Firefox; my $mech = WWW::Mechanize::Firefox->new(); $mech->get( ..
发布时间:2020-05-08 01:02:20 Python

Python Mechanize无法打开这些网站

我正在使用Python的Mechanize模块.我遇到了3个不同的站点,这些站点无法通过直接机械化来打开: en.wikipedia.org/wiki/Dog(新用户,发布的链接不得超过2个) http://www.cpsc.gov/cpscpub/prerel /prhtml03/03059.html import mechanize br = mechanize.Browse ..
发布时间:2020-05-08 01:02:17 Python

带有机械化功能的Python自动填充

有人可以帮我还是分享一些代码,以自动使用机械化填充登录名( http://wwwsearch. sourceforge.net/mechanize/)?我想制作一个python脚本,以便在运行该脚本时将其登录到我最喜欢的网站. 谢谢! 解决方案 这将帮助您登录到一个站点并下载一个页面,例如: import mechanize br=mechanize.Browser() br. ..
发布时间:2020-05-08 01:02:07 Python