在表单上使用HttpWebRequest来获取用于抓取的表时出现意外行为
我正在尝试抓取一个用php编写的网站，以便从特定表格中提取一些信息。以下是场景。 在登录页面上有一个表单，可以接受用户的查询并基于该查询搜索结果。如果我忽略这些字段并点击“提交”，它将产生整个结果(这就是我感兴趣的)。以前我不知道HTTPWebRequest类，我只是将URL传递给HtmlAgilityPack库中的Htmlweb.Load(URL)方法，显然不应该这样做。 然后我搜索
..
httpwebrequest相关内容
如何向第三方API编写Node.js请求？
有没有人有从http.request()发回给第三方的API响应回传到我的clientSever并写出到客户端浏览器的示例？ 我一直被我确信是简单的逻辑所困。我在阅读文档时使用EXPRESS，它似乎没有为此提供抽象。 谢谢 推荐答案 请注意，此处的答案有点过时--您将收到一条已弃用的警告。2013年的等价物可能是： app.get('/log/goal', funct
..
Java inputstream打印以控制内容
sock = new Socket("www.google.com", 80); out = new BufferedOutputStream(sock.getOutputStream()); in = new BufferedInputStream(sock.getInputStream()); 当我尝试打印出“in”中的内容时，如下图所示 Buff
..
C#/BinaryWriter：输出流中出现奇怪字符
我很难弄清楚是什么原因导致奇怪的字符出现在我的输出流中.完整代码@pastebin Fiddler输出 注意到我的边界前面的“s”、“X”、“�”吗？ s---------------634227387532666996 Content-Disposition: form-data; name='key' c06f4d0cdf6f2cc652635a08be34973d X--
..
如何在 Java 中发送 HTTP 请求?
在 Java 中，如何编写 HTTP 请求消息并将其发送到 HTTP WebServer? 解决方案 你可以使用java.net.HttpUrlConnection. 示例(从这里)，并进行了改进.包括在链接失效的情况下: public static String executePost(String targetURL, String urlParameters) {HttpUR
..
“无法连接到远程服务器失败"在 HttpWebRequest
我正在使用 VSTS 2008 + C# + .Net 3.5 开发控制台应用程序，并将请求发送到另一台服务器(Windows Server 2008 上的 IIS 7.0).我发现当请求线程数很大(例如 2000 个线程)时，客户端在调用 response = (HttpWebResponse)request.GetResponse() 时会收到错误“无法连接到远程服务器失败".我的困惑是——我
..
WebHeaderCollection &Xamarin 上的 HttpWebRequest
我正在尝试将我的项目从 Mac 上的 Xamarin Studio 移植到 Windows 7 上的 Visual Studio 2012.在 Mac 和 XS 上一切正常.在 VisualStudio 2012 上，我遇到了这两个问题: 错误 3 'System.Net.WebHeaderCollection' 不包含定义对于“添加"并且没有扩展方法“添加"接受第一个参数可以找到类型“Sy
..
.NET 中的 HttpWebRequest NameResolutionFailure 异常(在 Ubuntu 上使用 Mono)
我有一个通过 Mono 2.10 在 Ubuntu 上运行的 .NET 程序 该程序每分钟左右通过 HttpWebRequest 下载一个网页，这在大多数情况下都可以正常工作: 字符串结果；WebResponse 对象响应；WebRequest objRequest = System.Net.HttpWebRequest.Create(url);使用 (objResponse = obj
..
在 WinRT & 中使用 HttpRequestHeadersC#
我正在使用 HttpWebRequests 联系 API 并需要添加标头，但编译器告诉我该方法不存在.然而，当我查看 MSDN 时，它告诉我该方法已经存在.设置我的 UserAgent-property 也失败了. 谁能帮帮我? 尝试{HttpWebRequest wr = (HttpWebRequest)HttpWebRequest.Create(url);WR.Method = "GE
..
如何在 Windows8 应用程序中向 HttpWebRequest 添加标头?
我正在开发 C#\XAML metro-ui 应用程序.我想调用一些服务并为此使用 HttpWebRequest .HttpWebRequest 的先前实现包含 ContentLength 和 UserAgent 属性.但是 WinRT 的实现没有它.我尝试使用此 post 中描述的方法.它适用于 UserAgent，但不适用于 ContentLength.我试图设置 Headers reque
..
使用 HttpWebRequest.GetResponseAsync 进行异步和等待
我在发出 Web 请求时尝试使用 Async 和 Await，但我发现它永远不会超过 await 行.我是通过 Metro 应用程序执行此操作的，但我也在 winforms 应用程序中验证了问题. 公共异步任务做一点事(){字符串 url = "http://imgur.com/gallery/VcBfl.json";HttpWebRequest 请求 = HttpWebRequest.Crea
..
是否可以从 http 标头中找到文件名
通常在下载文件时，假设使用 QNetworkAccessManager，文件名不会出现在链接的末尾.在这种情况下如何获得正确的文件名.即使链接不包含名称提示，firefox 也会始终使用正确的名称和扩展名下载文件.我们可以使用 mime 类型获得扩展的提示，但文件名呢? 解决方案 是的.这是 Content-Disposition: 附件；filename= 标头.强烈建
..
如何在 Java 中解析 HTTP 请求?
在实现代理服务器时，我得到一个字符串形式的 HTTP 请求，比如这个: GET http://localhost:54321/x HTTP/1.1 主机:本地主机:54321 缓存控制:无缓存 是否有一个内置类来解析这个请求? 解决方案 我对这种解析的内置支持一无所知.如果你真的需要这样的解析器，你可以查看这个库:http://hc.apache.org/index
..
C# - 连接:在 HttpWebRequest 期间未发送 keep-alive 标头
我正在尝试使用我的 HttpWebRequest 发送以下标头: 连接:保持活动 但是，标头永远不会发送.Fiddler2 显示，每当我在 Google Chrome 中请求页面时，都会发送标头.但是，我的应用程序出于某种原因拒绝发送此标头. 我已将 KeepAlive 属性设置为 true(默认情况下它是 true)，但标头仍未发送. 我正在尝试使用多个 HttpWebR
..
如何在 webView 的 url 中发送引用请求
我需要在我的 Android 应用程序中显示一个网页，该网页正在寻找引用者以绕过安全性.我是 Android 新手，所以我知道如何在 Web 视图中显示网页，但不知道如何将“引荐来源"与 url 请求一起发送.我确定它需要更新 HTTPHeaderField 但我在 Android 中找不到任何参考.下面的代码是我用来调出网页的代码，但没有“引用者"，它会显示“拒绝访问" WebView web
..
获取 Request.Headers 值
我敢肯定，这很简单，但把我逼疯了！我在 Web 应用程序中使用了一个组件，该组件在 Web 请求期间通过添加标头“XYZComponent=true"来标识自己 - 我遇到的问题是，您如何在视图中检查这一点? 以下方法不起作用: if (Request.Headers["XYZComponent"].Count() > 0) 也不是这样: if (Request.Headers.All
..
HttpWebRequest 在第二次调用时超时
为什么下面的代码在第二次(以及后续)运行时会超时? 代码挂在: 使用 (Stream objStream = request.GetResponse().GetResponseStream()) 然后导致 WebException 表明请求已超时. 我已经用 WebRequest 和 HttpWebRequest 尝试过这个 编辑:似乎代码在 request.GetRespon
..
当数据是 URL 编码时，HTTP GET 的安全性如何?
如果数据是 URL 编码的，通过 HTTP GET 发送登录凭据是否足够安全? 解决方案 一点也不.URL 编码很容易可逆.您应该加密传输层(即使用 HTTPS)
..
Msxml2.ServerXMLHTTP 和 WinHttp.WinHttpRequest 之间的区别?
就在我终于明白 Msxml2.XMLHTTP 和 Msxml2.ServerXMLHTTP 的区别时 http://support.microsoft.com/kb/290761 XMLHTTP 是为客户端应用程序设计的，它依赖于基于 Microsoft Win32 Internet (WinInet) 构建的 URLMon.ServerXMLHTTP 是为服务器应用程序设计的，它依赖
..
使用 application/json 优于 text/plain 的优势?
使用内容类型 application/json 通过 text/plain 发送序列化为 json 的对象是否有任何性能优势? 我知道许多框架(如 Spring)可以根据内容类型映射和序列化数据，但总的来说，我发现这个过程非常简单，因此使用 application/json 在 text/plain 上用于 JSON 对象. 例子: xhr.setRequestHeader(“Con
..