python - Pytest 如何模拟 requests库中的Response对象？
问 题 请问如何在 Pytest 框架中模拟requests库中的Response对象？ 涉及到的主体代码如下： def get_address(phone): url = 'http://www.ip138.com:8080/search.asp?action=mobile&mobile=%s' % (phone) r = requests.get(url)
..
requests相关内容
python - selenium 可以使用 requests 包请求后的session对象 继续打开别的url吗？
问 题 问题描述如下： 1.首先 通过 requests 提交 form 请求，登录成功后 保存 session 此时 可以通过selenium 用 登录之后的session 继续发送请求吗 ？因为想要实现自动回复消息功能，但是聊天窗口界面在别的 url中，而且 在聊天窗口界面需要通过 按enter键 或者 点击发送按钮发送消息 在这种情况下， selenium 和 req
..
python - requests 库 使用过程中timeout值最大可设值？
问 题 请问 requests 库 使用过程中timeout错误的默认时间是多长呢？ 查看源码 理论上 timeout值可以任意设？ 默认 timeout 值 是怎么来的呢？ 如果我想设一个比较大的timeout 值 会生效吗？ 解决方案 Requests 库是基于 urllib3 的，其连接的发起是调用了 urlopen 方法。其超时时间默认是 urllib3 中的 D
..
beautifulsoup - python requests 高频率刷新时卡顿
问 题 我用requests.get()读取固定网页上的信息（网页非常简单，不超过十个字符），然后用beautifulsoup解析，我设定的是1秒读取一次，但是发现运行时非常不稳定，有时会隔十几秒才能读到内容。这是网站服务器端的问题还是我的程序问题，能够解决吗？ （服务器是我自己的，用的是nginx和uwsgi，没有刷新频率限制） python程序如下： import reque
..
python3.x - python、requests get知乎报500
问 题 在终端中 import requests as rq result = rq.get("https://www.zhihu.com") 返回500错误，网页可以正常访问 另外 模拟登陆，返回登陆成功 但rq.get('http://zhihu.com') 也还是会报500。求解 解决方案 嘿嘿，因为知乎想防爬虫，而你直接这样去get的话，user agent
..
python - 用urllib.request和requests请求同一网页，接着用beautifulsoup解析出来的为什么不一样呢？
使用urllib.request的代码： import urllib.request from bs4 import BeautifulSoup url="http://finance.qq.com/gdyw.htm" head = {} head['user_agent']='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3
..
python - requests headers 解码
问 题 我需要使用python的requests 下载一些文件，但是文件是中文名的 chrome调试看出来的文件名是 Content-Disposition:attachment; filename=%C9%F1%BC%B6%BB%F5%C0%C9.txt requests 下载显示的却是乱码 import requests url = 'http://www.23us.
..
requests - python 如何使用多进程在后台执行网页请求已保证cookies不失效？
问 题 用python写爬虫，服务端似乎会定时清理登陆状态，如果爬虫休息了一下就需要重新登陆。 因此，我想后台用 while 每隔10s访问一次。 def keep_alive(): while 1: session.get('https:\\xxx.com') # print('alive') time.sleep(10) k
..
python - 让requests不走系统 全局 代理
问 题 做的是wifi自动验证登录脚本。 用的是Python的requests库。 File "/home/c/.local/lib/python2.7/site-packages/requests/api.py", line 70, in get return request('get', url, params=params, **kwargs) File "/h
..
python - requests如何在不下载响应体的情况下重用连接？
问 题 实际需求场景是想让爬虫只通过检验http的返回码，以此校验之前下载的某个资源是否还在线；因为并不需要下载响应体，所以使用了requests的Session对象并在动词方法中添加了stream = True的参数，如下： s = requests.Session() s.mount('http://', requests.adapters.HTTPAdapter(
..
python - requests下载图片出错超时？
问 题 今天突然发现获取微信头像出现了超时问题 requests.get('http://wx.qlogo.cn/mmopen/0wR...') 我在本地没有问题。 但是在服务器却有问题，这个代码会一直卡住。有人知道什么原因吗？ 是不是下载图片需要开启某个端口呀！！有人知道是什么端口吗？ 这个问题已被关闭，原因：问题已解决 - 问题已解决，且对他人无借鉴意义 解决
..
python使用requests报错
本人是Python新手，想用requests写个爬虫，但是在引入requests包的时候报错，还望各位帮忙下看是哪块导致的？先行谢过了。 1、检查requests安装是成功的，使用Urllib倒是没有问题 2、检查过后requests也没有与其他地方名字冲突 看截图： 1、安装是成功的 2、代码如下 3、报错如下
..
javascript - cookie与验证码下的爬虫模拟登录
问 题 学习爬虫中，初次涉及在cookie与验证码的环境下模拟登录一个站点 https://www.aaej.cn/cas/login 计划用requests库 目前困扰在以下几点： A：为什么在一次请求页面之后，每次查看该页面源码，源码中‘lt’和‘execution’的值都会变？ B：在试图requests.get(https://www.aaej.cn/cas/login)
..
python为什么不适用pickle来直接序列化requests.的session.cookies?
问 题 import requests sess=requests.session() resp=sess.get('http://www.so.com') f=open('cookiefile','wb') pickle.dump(resp.cookies,f) #为什么很多代码都不是这样,而是使用cookielib的LWPCookieJar? f.close() 解决方案 你怎么还
..
python3.x - python发送get请求是否可以只获取状态码而不下载页面内容
问 题 如题描述 因为一些需求想对一份url列表进行get请求扫描,看看这些页面是否存在 平时用的requests模块的get和多进程来实现,感觉还是不够快.于是产生了如题描述的这种想法. 顺便问下,为什么vps提供商会封我...好郁闷. 解决方案 heads=requests.head(url)
..
python - 学习模拟登录，卡在发送POST请求之后？
学习模拟登录，发送了post请求之后页面还是登录页面啊，不知道原因 import re import requests url='http://cer.imufe.edu.cn/authserver/login?service=http%3A%2F%2Fmy.imufe.edu.cn%2Findex.portal' html=requests.get(url).text lt_value=r
..
Python requests 如何获取第一次GET请求时 Request Headers 中的 Cookies？
如何获取第一次访问网站时 Request Headers 中的 Cookies？ 比如访问 http://g.jandan.net/signin 在Fiddler 下抓包查看： requests 中 session.cookies 只能获得 Response Headers 中的 Cookies，无法获得 Request Headers 中的 Cookies。 请问有什么解决的方法？
..
网页爬虫 - Python使用requests库搜到的图片src下的url是正在加载的图片
问 题 我想下载http://www.chuiyao.com/manhua/3670/393022.html里面的图片，但用下面的代码搜到的图片是这个http://www.chuiyao.com/static/skin5/images/pic_loading.gif。headers我是用的chrome浏览器network下的393022.html的Request Headers imp
..
网页爬虫 - Python爬虫看到这个Javascript，如何从中找到我需要的URL？
问 题 想下载http://www.manhuatai.com/doupocangqiong/191.html里面的图片。 看到这个，因为不会javascript，所以不懂imgpath的value那串E&3G&F7&:7&:8&F8&B1&C5&F9&9C&9E&F8&B:&C:&3G2:2&F9&BG&:ETN&3G是什么意思，其中有几话我发现是直接http://mhpic.zymk.
..
网页爬虫 - 用Python3的requests库模拟登陆Bilibili总是提示验证码错误怎么办?
问 题 我怀疑是验证码和对应的cookies不同步，但我也检查不出来哪里错了 代码如下，望哪位大神帮我看看 #!/usr/bin/python # -*- coding: utf-8 -*- import requests import chardet import os from PIL import Image from io import BytesIO def log
..