有没有已知的网络抓取工具列表？
我正在为网络服务器上的某些文件准确下载数字。我看看用户代理，有些显然是机器人或网页抓取工具，但是很多我不确定，他们可能是也可能不是网络抓取工具，并且导致许多下载，所以我很重要。 p> 有没有一些知名的网页抓取工具，有一些文档，如用户代理，IP，行为等？ 我对官方的不感兴趣，像谷歌，雅虎或微软。这些一般表现良好，自我认同。 解决方案 我正在使用 http://www.user-a
..
bots相关内容
DDOS攻击导致数据库连接错误
我在Fastdomain服务器上托管了我的Prestashop，它就像第4年，网站稳定和工作正常，直到3天前，我的电子邮件收件箱里充满了垃圾邮件和超过300K的请求，使该网站下降。 我激活了Fastdomain Cpanel提供的来自Sitelock的基本保护，它工作了两天，网站又下降了另一次警告的cuz。 Fastdomain支持试图修复它，但没有即时方法他们说的问题是由于脚本过度使
..
我如何去编写一个简单的PHP bot？
我如何编写一个简单的PHP机器人，可以登录并接收服务器发送的所有Cookie？ ... 解决方案 如果由于某种原因不能在服务器上使用 curl 扩展（扩展未安装），则可以使用 Snoopy ，仍然允许您使用 curl 二进制文件或使用套接字检索信息。 Snoopy处理cookie。 至于编写bot本身，它只是一个发送正确请求的问题。下面是Snoopy的示例： $ sno
..
Xcode Server Bot问题：警告。构建服务错误。问题：归档在路径'some / path'是格式错误
我使用Cocoapods和KIF在Xcode服务器上运行连续集成。我已成功设置为一个项目报告每个提交。我现在正在使用第二个项目，并得到的错误： Bot问题：警告。构建服务错误。 问题：归档在路径'/Library/Developer/XcodeServer/Integrations/Integration-81d42936b22a04037fd4aebed1074e5e/Archive.
..
注册来自collabd的消息（如XCSBuildService）以接收Xcode Bots集成号
在Xcode Bots构建期间，每次运行都会分配集成号。此编号不会显示在构建日志中，但会方便地创建返回到CI环境或企业应用商店中构建的单个Xcode Bots的HTTP链接。 在 /Library/Server/Xcode/Logs/xcsbuildd.log 中，我发现 XCSBuildService 有一种方法可以注册到同一个（OSX）计划中的活动并接收此讯息/活动？ 只有丑
..
退出Xcode Server CI Bot测试会话（-1）
尝试在XcodeServer上针对模拟器设备运行测试时出现错误。测试有时会传递一个设备，并失败，但失败的设备并不总是相同的。 日志文件错误如下： code> 2015-03-23 10：44：11.029初始化测试基础结构。 2015-03-23 10：44：11.029将测试状态日志写到/Library/Developer/XcodeServer/Integrations/In
..
持续集成Xcode Server后触发器$ XCS_PRODUCT未设置
我有一个机器人在Xcode 6.4下完美工作。后触发脚本使用以下路径自动上传IPA：“$ XCS_OUTPUT_DIR / $ XCS_PRODUCT” 然而（即使从头开始重做bot之后），它似乎： / p> $ XCS_PRODUCT始终为空。 $ XCS_OUTPUT_DIR指向不存在的文件夹，在服务器上检查后，看来Xcode服务器存储.ipa有：/ Library / Deve
..
无法创建目录/ var / teamsserver
我已经在我的Mac上安装了os x server（Mavericks），并且想要添加bot。由于某些原因，我的远程仓库位于其他外部服务器上，我可以通过指定端口上的用户名和密码访问它。我已经添加远程repo到os x服务器像这样： ssh：//1.2.3.4：PORT / path / to / repo.git ...填充用户名和密码。 然后我在Xcode中添加了bot，但当我点
..
如何将Xcode Bot集成号添加到构建脚本中
我正在创建一个带有Settings.bundle文件的iPad应用程序。我编写构建脚本来显示应用程序版本号和xcode bot集成号（而不是bundle build number）。我搜索了网络，找不到任何解决方案。这里是我还有： - 添加应用程序版本号 cd $ PROJECT_DIR cd“ $ BUILT_PRODUCTS_DIR / $ PRODUCT_NAME.app“
..
XCode 7.0.1，Bots和Server 5.0.4：测试目标“xx”遇到错误 - 超时等待120秒模拟器启动
预期结果：在创建漫游器时选中“测试”复选框，Xcode服务器完美执行mt测试，例如 WWDC 。 结果： Xcode会产生一堆模拟器超时错误，并且集成失败。 测试目标“xxx”遇到错误（超时等待120秒，模拟器启动，当前状态为1.如果您相信此错误表示错误，请将日志文件附加到/Library/Developer/XcodeServer/Integrations/Integration-0
..
CodeIgniter会话由bots垃圾邮件
我的网站每天大约有2000名访问者，该网站被各种搜索引擎漫游器垃圾邮件。我试图减少会话到期时间到20分钟，仍然我得到了很多mysql_slow_queries。因此，我查看了 Google抓取工具，cron和代码签名会话，完全忽略来自会话表的机器人，但是它们的方式是忽略 IPs ，但是当我分析数据库时看到同一个bot使用不同的 IPs 。我注意到机器人每次使用相同的用户代理，所以可以安全地忽略用户
..
如何计划在微软机器人框架+ C＃的任务？
我使用微软的机器人框架/博特生成器C＃.NET / LUIS构建测试机器人。它被部署在Azure上。对于我的测试项目的想法是提醒发送给用户。 例如，当用户问“提醒我在两小时买牛奶”，应该发起对话或在两小时内发送到现有的会话应答。 我没有问题，解析自然语言到使用LUIS日期和任务，但是我不知道如何安排任务，使该框架会以某种方式发送回复用户以后。 我读过的文档，并在检查的 https
..
检测诚实的网络爬虫
我想检测（在服务器端）的请求是由机器人。我不在乎在这一点上的恶意僵尸，只是在玩漂亮的人。我见过大多涉及对像'僵尸'的关键字用户代理字符串相匹配的几种方法。但似乎尴尬的，不完整的，难以维护。因此，没有人有任何更坚实的方法？如果没有，你有你使用任何资源跟上最新的所有友好的用户代理？ 如果你好奇：我并不想这样做对任何搜索引擎政策什么。我们有一个网站的部分，在那里用户是随机美元，其中几个稍有不同的网页版
..
也可以javascript preSS的我回车键？
还有，我想继续打下去就进入我不在的时候一个网站。是否有可能做这样的事 的setInterval（函数（）{ //了JavaScript preSS按钮具有一定的ID }，100）; 我想的只是把在智能搜索栏，这样它会运行code。 解决方案 好吧pressing输入被触发事件。你必须弄清楚他们是听哪个事件侦听器。我将在下面的例子中使用 KEYUP ： 假设报是你想输入是press
..
未找到：值UADetectorServiceFactory
在此问题的参考，我尝试下面的code Scala中： 进口net.sf.uadetector._ 高清检查行动= {隐含请求= GT; 的println（request.headers） 变种解析器= UADetectorServiceFactory.getOnlineUpdatingParser（）; 的println（分析器） VAL剂= parser.par
..
＆QUOT;用户＆QUOT;发送GET请求到一个网站，当POST预期
我总是看到我们的日志，其中应通常只能通过POST请求访问的URL通过GET称为怪异的行为。这些URL包括那些通过JavaScript只是有史以来建造的人，所以你不能指望一个普通的蜘蛛碰到他们。如果我搜索我们的日志，这些请求都来自一个IP，好像是用户永远只给我们送来GET请求。 这似乎并不像典型的BOT行为 - 要求有s $ P $垫出来的，而不是垃圾邮件我们的服务器和一帮在短时间内请求。用户
..
如何从一个网站看？ C＃
我试图让一个机器人，我如何从一个网站读起来就像1800年/ 1800年的价值？ Console.WriteLine（“健康”） Console.WriteLine（“能源”） Console.WriteLine（“现金”） Console.WriteLine（“等级”） 我在做一个控制台应用程序，试图获得的价值。如果健康就好低则1800分
..
从使用Ruby的web僵尸网站自动数据检索
说我有一个网站，显示您的标志，当你输入你卷号。您还可以看到其他人的标记以同样的方式，通过增加自己的卷号。 我想创建一个Excel工作表，找到标志的标准偏差（大专以上项目）。 这在物理上是不可能的，我手动输入所有的数据，所以我寻找一些自动化的方法，该方法能为我做这项工作，并保存在一个文本文件中的所有字段，我可以很容易地转换成表格。 背景细节： 链接到这里网站。 输入是在文本框中它。当提交被
..
如何从一个网站看？
我试图让一个机器人，我如何从一个网站读起来就像1800年/ 1800年的价值？ Console.WriteLine（“健康”） Console.WriteLine（“能源”） Console.WriteLine（“现金”） Console.WriteLine（“等级”） 我在做一个控制台应用程序，试图获得的价值。如
..
生产网站/奇怪的例外，从HTTP_USER_AGENT的Java 1.6.0_17
今天，我们已经收到了我们的生产网站的一些奇怪的例外。他们都具有以下HTTP_USER_AGENT字符串：的Java / 1.6.0_17 我看着它在以上 UserAgentString.com 但信息还是蛮有用的。 下面是我们得到的一个例外（他们都或多或少相同）： System.NotSupportedException：给定的路径的格式不 支持。 被查询的路径： /kla
..