urllib2相关内容

无法使用的urllib2从网页保存图像

我要使用python 的urllib2 来保存从一个网站一些图片,但是当我运行code节省别的东西。 这是我的code: USER_AGENT ='的Mozilla / 4.0(兼容; MSIE 5.5; Windows NT的)' 标题= {'的User-Agent“:USER_AGENT} URL =“htt​​p://m.jaaar.com/” R = urllib2.Request( ..
发布时间:2016-08-05 19:17:29 Python

使用BeautifulSoup选择在HTML的div块

我试图解析使用美丽的汤使用从网站一些HTML几个分区块。但是,我不能工作了哪些功能应该被用于选择这些分区块。我曾尝试以下内容: 进口的urllib2 从BS4进口BeautifulSoup高清的getData(): HTML = urllib2.urlopen(“http://www.racingpost.com/horses2/results/home.sd?r_date=2013-09 ..
发布时间:2016-08-05 19:07:27 前端开发

取的脚本标签中的变量数据,Python或内容从JS加

我要取的,我现在用的 urllib而美丽的汤从另一个URL数据,我的数据是表格内标签(我已经弄清楚使用Firefox控制台)。但是,当我试着用他的身份证,结果是无去取表,那我想这个表必须通过一些JS code动态添加。 我已经尝试了所有两个解析器的“LXML','html5lib”但我仍不能得到表数据。 我也尝试一件事: 网​​络=了urllib.urlopen(“我的网址”) HTML = ..
发布时间:2016-08-05 19:05:05 前端开发

为什么我会收到"“结果”有没有属性'的findAll'"使用BeautifulSoup在Python?

所以我学习Python的慢,我试图做一个简单的功能,将借鉴网络游戏的高分页面数据。这是别人的code,我改写成一个功能(这可能是问题),但我得到这个错误。这里是code: >>>从进口的urllib2的urlopen >>>从BeautifulSoup进口BeautifulSoup >>> DEF创建(EL): 来源=的urlopen ..
发布时间:2016-08-05 19:04:22 Python

对于多线程下载速度更快

我怎么能同时下载多个链接?我的下面工作,但只下载一次一个脚本,它是极其缓慢的。我无法弄清楚如何把多线程在我的脚本。 Python脚本: 从BeautifulSoup进口BeautifulSoup 进口lxml.html为html 进口里urlparse 进口操作系统,SYS 进口的urllib2 进口重打印(“下载和解析圣经......”) 根= html.parse(开放('links.ht ..
发布时间:2016-08-05 19:04:08 Python

在Python用BeautifulSoup提取文本

能否请你帮我这个律的事。我期待用美丽的汤(蟒蛇)在SCRIPT标签(而不是在身体)以下code提取电子邮件,电话和名称值。我是新来的Python和博客被推荐使用美丽的汤提取。 我试着用下面的code得到页 - fileDetails = BeautifulSoup(urllib2.urlopen('http://www.example.com').read()) 结果= fileDetail ..
发布时间:2016-08-05 18:56:31 Python

我怎么能看到从Python中的tumblr信息的所有笔记吗?

说我看看下面的tumblr帖子: http://ronbarak.tumblr.com/post/40692813... 结果它(目前)有292笔记。结果 我想获得的所有上面的注意事项使用Python脚本(例如,通过urllib2的,BeautifulSoup,simplejson,或tumblr API)。 一些谷歌搜索粗放没有产生与笔记“中的tumblr提取任何项目。 的任何人 ..
发布时间:2016-08-05 18:55:48 Python

BeautifulSoup,你在哪里把我的HTML?

我使用BS4与python2.7。这里是我的code(感谢根)的启动: 从BS4进口BeautifulSoup 进口的urllib2F = urllib2.urlopen('http://yify-torrents.com/browse-movie') HTML = f.read() 汤= BeautifulSoup(HTML) 当我打印的HTML,它的内容是相同的镀铬中查看的页面的源代码。 ..
发布时间:2016-08-05 18:54:47 Python

如何正确地分析UTF-8 EN codeD HTML与BeautifulSoup统一code字符串?

我运行它取一个UTF-8-CN codeD网页的Python程序,我提取使用BeautifulSoup的HTML一些文本。 然而,当我写这篇文章的文本文件(或打印在控制台上),它被写在一个意想不到的编码。 样例程序: 进口的urllib2 从BeautifulSoup进口BeautifulSoup#获取网址 URL ='http://www.voxnow.de/“ 请求= urllib2 ..
发布时间:2016-08-05 18:53:54 Python

如何使Python的urllib2遵循重定向并保持post方法

我使用的urllib2将数据发布到表单。问题是,在形式与302重定向应答。据 Python的HTT predirectHandler 重定向处理器将采取请求,并将其从POST转换成GET,并按照301或302,我想preserve POST方法,并传递到揭幕战中的数据。我通过简单地增加数据= req.get_data()到新的要求而作出的自定义HTT predirectHandler不成功的尝试。 ..
发布时间:2016-07-27 21:41:04 Python

Python的urllib2的自动填表和结果的检索

我期待能够查询保修信息的网站,一台机器,该脚本将上运行的。如果需要的话(像在说,惠普的服务站点的情况下),它应该能够填写一个表格,然后将能够检索结果网页。 我已经有地方能够解析报告回我只是具有需要为了做到这一点需要被放置在字段,然后是数据的POST做什么麻烦生成的HTML中的位能够检索结果页面。 解决方案 如果你完全需要可使用的urllib2,基本要点是: 进口的urllib 进口的u ..
发布时间:2016-07-27 21:18:32 Python

与API密钥认证的urllib2

我试图连接到 Radian6的API ,这就需要auth_appkey,AUTH_USER和作为AUTH_PASS MD5加密。 当我尝试使用telnet连接我可以成功地得到响应XML 远程登录sandboxapi.radian6.com 80 尝试142.166.170.31 ... 连接到sandboxapi.radian6.com。 转义字符是'^]'。 GET / socialclou ..
发布时间:2016-07-25 19:43:05 Python

urllib2.HTTPError:HTTP错误401,而使用新的必应API(在蔚蓝的市场)查询

所以,我已经做出基于大多数栈溢出同一屋檐下的答案更正,我仍然无法解决这个问题。 queryBingFor =“谷歌光纤” quoted_query = urllib.quote(queryBingFor) account_key =“dslfkslkdfhsehwekhrwkj2187iwekjfkwej3”则rootURL =“htt​​ps://api.datamarket.azure.c ..
发布时间:2016-07-25 19:11:18 Python

HTTPS与urllib2的登录

我目前有下载一个网页,并提取了一些数据我感兴趣的,没什么特别的。一个小脚本 目前,我下载的页面,像这样: 导入命令 命令='wget的--output文档= - --quiet --http用户= USER --http密码= PASSWORD https://www.example.ca/page.aspx“ 状态,文本= commands.getstatusoutput(命令) 虽 ..
发布时间:2016-07-25 10:19:40 Python

从基本认证提取网址保护的詹金斯服务器的urllib2

我试图获取从Jekins服务器的URL。直到最近,有些我能使用此页上描述的模式( HOWTO获取网络资源使用的urllib2 )创建一个密码管理器,正确回应BASICAUTH使用用户名和放大器的挑战;密码。一切正常,直到詹金斯队改变了他们的安全模型和即code不再奏效。 #不工作! 进口的urllib2 password_mgr = urllib2.HTTPPasswordMgrWithDefa ..
发布时间:2016-07-25 09:46:41 Python

Python的urllib2的基本认证问题

更新:根据李的评论,我决定我的凝结code到一个非常简单的脚本和命令行运行它: 进口的urllib2 进口SYS用户名= sys.argv中[1] 密码= sys.argv中[2] URL = sys.argv中[3] 打印(“呼叫%s与%S:%S \\ n”%(网址,用户名,密码))帕斯曼= urllib2.HTTPPasswordMgrWithDefaultRealm() passman.a ..
发布时间:2016-07-24 17:59:34 Python