每秒处理35万次请求并将数据保存到Google云存储
我需要实现微服务，它在逻辑和架构上相当简单，但需要处理每秒305k左右的请求。 它要做的就是接收JSON数据，根据简单的规则进行验证，然后作为JSON文件记录到Google Cloud Storage中。有很多Google Cloud服务和API可用，但我很难选择合适的堆栈和管道，因为我没有太多使用它们和HighLoad的经验。 下面是我看到的一个例子 https://cloud.goog
..
high-load相关内容
Java 高负载 NIO TCP 服务器
作为我研究的一部分，我正在用 Java 编写一个高负载的 TCP/IP 回显服务器.我想为大约 3-4k 个客户端提供服务，并查看每秒可以挤出的最大消息数.消息大小非常小 - 最多 100 个字节.这项工作没有任何实际目的——只是一项研究. 根据我看过的大量演示(HornetQ 基准测试、LMAX Disruptor 讨论等)，现实世界的高负载系统往往每秒处理数百万个事务(我相信 Disru
..
jQuery/Javascript - 如何在继续执行函数之前等待操作的 DOM 更新
我想要做的是在执行 CPU 密集型脚本之前更新一个简单的 div 说“正在处理..."(运行需要 3-12 秒，没有 AJAX)然后更新 div 说“完成的！"完成后. 我看到的是 div 永远不会更新为“正在处理...".如果我在该命令之后立即设置断点，则 div 文本会更新，所以我知道语法是正确的.在 IE9、FF6、Chrome13 中的行为相同. 即使绕过 jQuery 并使用
..
C: epoll 和多线程
我需要创建专门的 HTTP 服务器，为此我计划使用 epoll sycall，但我想利用多个处理器/内核，我无法提出架构解决方案.ATM 我的想法是:用自己的 epoll 描述符创建多个线程，主线程接受连接并在线程 epoll 之间分配它们.但是有没有更好的解决方案?我可以阅读哪些关于高负载架构的书籍/文章/指南?我只看过 C10K 文章，但大多数示例链接都已失效:( 仍然没有-关于这个主题的深入
..
可以用大量数据更快地执行[MySQL]
有什么方法可以优化下一个查询: EXPLAIN EXTENDED SELECT keyword_id, ck.keyword, COUNT( article_id ) AS cnt FROM career_article_keyword LEFT JOIN career_keywords ck USING ( keyword_id ) WHERE keyword_id IN ( SELE
..
在高负载站点中使用PHP的策略
在回答这个问题之前，我还没有开发出足以达到高服务器负载的流行工具.把我当成是一个刚刚降落在地球上的外星人，尽管它知道PHP和一些优化技术. 我正在使用 PHP 开发一个工具，如果可以的话，该工具可以吸引很多用户.但是，尽管我完全有能力开发该程序，但是在编写可以处理大量流量的东西时却一无所知.因此，这里有一些问题(也可以将这个问题也变成资源线程). 数据库 目前，我计划在PHP5中
..
Java高负载NIO TCP服务器
作为我研究的一部分，我正在用Java编写一个高负载的TCP / IP echo服务器。我想为大约3-4k的客户端提供服务，并且每秒可以看到我可以挤出的最大可能消息。消息大小非常小 - 最多100个字节。这项工作没有任何实际意义 - 只是一项研究。 根据我见过的众多演讲（HornetQ基准测试，LMAX Disruptor会谈等），真实世界的高负载系统往往每秒服务数百万次交易（我相信Disru
..
Logstash / Elasticsearch / Kibana资源规划
如何计算资源（我怀疑，弹性搜索实例）根据负载： 加载我的意思是≈500K事件/分钟，每个包含8-10个字段。 我应该转动什么配置旋钮？ 我是新的这个堆栈。 解决方案 每分钟500,000事件是每秒8333事件，应该是对于小型集群（3-5台机器）来说很容易处理。 问题在于保持720M的日常文档打开60天（43B文件）。如果10个字段中的每个字节为32字节，则为13.8TB
..
jQuery / Javascript - 在进行功能之前如何等待操纵的DOM进行更新
我想要做的是在执行一个CPU密集型脚本（运行3-12秒，没有AJAX）之前更新一个简单的div来说“Processing ...”，然后更新div来说“完了！”完成后 我看到的是，div从来没有被更新为“Processing ...”。如果我在该命令之后立即设置断点，那么div文本会被更新，所以我知道语法是正确的。即使在绕过jQuery并使用基本的原始Javascript时，我也看到同样的问
..
APC用户缓存适合高负载环境？
我们尝试在高负载环境中部署APC用户缓存作为每个服务器上的本地二级缓存，用于集中式缓存服务（redis），用于缓存具有很少更改结果和配置的数据库查询。我们基本上看看Facebook做了什么（几年前）： http://www.slideshare.net/guoqing75/4069180-caching-performance-lessons-from-facebook http://ww
..
C：epoll的和多线程
我需要建立专门的HTTP服务器，为了这个，我打算使用epoll的sycall，但我想利用多处理器/内核，我不能拿出架构解决方案。 ATM我的想法是followng：创建自己的epoll的描述多线程，主线程接受连接和线程的epoll之间分配他们。 但有没有更好的办法呢？哪些书/文章/导游，我可以读高负荷的架构？我只看到 C10K 的文章，但大多数链接的例子是死:(仍然没有深入对这款本本主题：（
..