QQ空间技术架构之深刻揭秘是什么

产品运营有很多需要境界，有更加精准的用户群，但同时也意味着扎根在这个领域的都是专业深耕的精兵良将，竞争同样不小。课课家告诉你产品该如何运营呢?具体内容如下：
QQ空间作为腾讯海量互联网服务产品，经过近七年的发展，实现了从十万级到亿级同时在线的飞跃。在这个过程中，QQ空间团队遇到了哪些技术挑战？其站点前后台架构随着业务规模的变化又进行了怎样的演进与变迁？成长背后有过怎样的心酸和快乐……
4.26日晚间，腾讯大讲堂·深圳首站《QQ空间技术架构之峥嵘岁月》活动在腾讯总部腾讯大厦多功能厅举办，腾讯Web前端研发领域专家、腾讯最早的专职Web开发团队核心成员、Qzone核心架构研发总监徐晓在两小时的演讲中揭开了QQ空间技术架构背后的秘密。
正式分享之前，徐晓介绍了QQ空间目前的海量服务数据规模（图1）：
1)拥有5.5亿的活跃用户
2)过万台的设备
3)数千万级别的同时在线
4)数十亿级别的全站PV
5)P级的UGC存储量
6)每天千亿级别的服务请求
 
但同时，空间第一版的独立客户端也带来了各种问题和烦恼：
第一：非常不利于定位问题。
一旦页面元素填写失败，定位问题将是一件麻烦的事情。因为它不是Web页面，所以只能用其他抓包软件，比如Ethereal（Wireshark的前身）来抓取网络包做分析。但那个时候网络抓包工具的能力还比较弱，没有高亮和HTML语法检测等功能，所以整体环境比较受限。
第二：服务接入层压力大。
由于不仅要接受用户的请求，还要向后访问不同的数据。当后端某一个接口超时严重的情况下，很多用户的请求都会被挂起。这样就会消耗更多的连接资源，对Web服务器CPU的消耗很大。
第三：服务集群没有发挥出应有的服务能力
当时共用30-40台服务器，也只能支持50万左右的用户。无奈之下，团队想了一个没办法的办法：有意限制超过五十万用户，提出了一个排队等待机制，学习海底捞模式，当在线人数达到50w的时候，QQ空间会给用户展示一个Flash小游戏，让用户在等待的时候玩小游戏。
针对当时存在的种种问题，团队做了以下改进来解决：
第一：采用Web RIA。
当时大量使用了Ajax技术来减轻服务器的负载。其中一个极端的例子是：整个空间首页都是采用JS绘制，这样能够将用户访问的CGI足够轻量化。尽量简化了CGI逻辑，让CGI程序运行更加强壮、效率更高。同时，当服务异常时，还可以通过JS脚本绘制一个错误信息给予用户提示。而且，采用JS开发效率更高，调试更方便。
Web RIA化后，降低了服务器CPU消耗的40%，节约了DC的输出带宽约30%（部分JS脚本都可以被浏览器Cache住）。
第二：采用动静分离策略。静态资源都放在自研的Web服务器qhttpd上，它具备当时ApacheSelect模型的两个数量级以上的接入能力。
第三：采用自研的Web Server：Qzhttp，主要用于动态分离的动态服务的需要。由于Qzhttp是腾讯自研的、轻量的、更适合业务自己逻辑的Web Server，从而保证了它的高性能，它的接入能力比Apache (非FastCGI模式)提高了3倍。
石器时代做的最大的优化：
当用户申请QQ空间多个服务时，每个服务都有独立的存储和处理逻辑。只有当所有的服务处理完成，才会由QQ空间框架服务器返回给用户。这样对于同时依赖日志、相册、音乐、留言的服务就会产生两大问题：
1)短板效应一损俱损；
2)具体业务容量无法差异化。
针对这两个问题，做了首页载入性能优化及首页内容静态化系统两方面的优化：
研究用户访问模型。拉取展现与UGC内容的变更比例是7：1。用户之间互访频繁，看他人与看自己的比例是5：1.。通过以上数据，可以看出用户的UGC更新很少，但是用户之间互相访问很频繁。根据用户的这种访问模型，空间团队研发了一套静态化系统（图3）。这套系统会将用户首页的内容全部Cache，然后根据用户的访问，以及用户自己UGC内容的更改，采用一定策略更新静态化系统的Cache数据。
通过增加首页内容静态化系统，首页展现速度从5s提升到3s，用户也不用再玩小游戏进行等待。同时在设备没有扩容的前提下，同时在线用户访问数突破100w。
 
well这项分析通常用来确定完成一个项目所需的最短时间。对正在进行的过程，该分析并不总是有用，它最突出的用途在于针对产品设计开发以及其他项目相关的工作。
运营运营
关键路径分析首先需要确定完成项目所需的步骤。随后分析哪些步骤需基于其他步骤，哪些步骤可以与其他步骤同步执行，根据这些情况设定各步骤的优先次序。换句话说，那些其他步骤所依赖的先决步骤必须首先完成。
首先贯穿图表最上方列出时间帧。在图上时间帧下方画一个圆圈代表任务，接着画一条时间线指向下一个任务。线的长度，或者说两个任务的间隔代表执行该任务所需的时间。线与下一个任务相连，依此类推。这条线就是“关键路径”。同步执行的任务，或者不依赖于其他任务的独立任务，可以画在关键路径下方，与非独立任务并存。
实际上，绘制这种图表有两种格式。一种是甘特图，另一种是PERT图。有关这种图表和分析具体应用的实例和详细说明，请参见头脑工具。
排队论
排队论用于分析同客户和服务相关的一些情形，诸如确定某地区的加油站需配备多少台油泵、一家百货公司需设置多少个收银台，甚至于一个饭店需有多少个停车位等。它还适用于维修和服务站等需要排队等待维修的情况。通常来说，在任何情况下，只要人或事情需要等待，就伴随着价值的流失。
减少等待时间可以提升服务质量。这同时也增加了提供服务所花的成本。排队论的目标是找到一种恰当的方法，使得等候的客户的“价值流失”最少，而用于改善服务的成本仍处于可您的承受范围内。
队列计算体系中包含众多公式和算法，幸运的是可以应用软件来进行计算。
通过不断的改进和优化，QQ空间3.0于2006年中稳健上线。
冷兵器时代——功能的磨砺
冷兵器时代是在线人数从百万阵营向千万阵营过渡的过程。这个阶段做的更多的是功能的磨砺，提高可用性的过程。
但与此同时，QQ空间团队又面临了新的问题：
1、网通，教育网用户体验很差；
2、版本迭代快速，导致外网bug不断；版本发布之后，所有开发必须留守2个小时；
3、后端服务质量不稳定，导致服务经常宕机。
之前有谈到，空间的用户数据是分布在电信与网通两套体系中的。但由于公司在网通的服务设备有限，随着用户量的不断增加，很快就达到了网通设备服务的上限。网通不能扩容设备，但用户量还在不断增加。面对这种情况，只好将网通和电信的数据合并为一套。当网通用户访问服务的时候，会通过一个代理将用户的请求转发到内网电信服务上。采用这种方式，提供了一套通用的解决方案，可以解决海外，网通，教育网，铁通等运营商的问题。
但这种跨网访问的静态资源下载量非常大，静态资源请求次数 : CGI请求数接近10：1，所以采用CDN提供静态资源下载，来提高用户访问速度。具体逻辑是：根据用户客户端IP判断用户属于哪一个ISP服务商，通过URL方式将用户的静态资源访问定向到该ISP的服务设备上。
这样，跳出CDN系统的拘束、优化思路，解决了大部分教育网用户问题，同时多级支持的思路成为公共方案。
但同时还是有很多的故障：
1)低ARPU、低成本、低价机器、大集群
2)版本迭代快每周发布版本
3)用户对故障和低效的容忍度非常低
通过调研，我们发现用户对Web的容忍度是很低的（如图4）：

图4——用户容忍度曲线
一般页面在1s内打开，用户会感觉体验非常流畅。所以我们通过以下策略来保证服务质量：
1)区分关键路径,对关键路径的服务质量我们要求4个9以上，非关键路径的服务失败之后做有损体验；
2)采用动态超时时间控制算法，保证整个程序在可控的时间内做出响应；
3)多级容错机制，从后端服务到CGI，到前台JS脚本都对错误做了容错处理；
4)采用柔性可用策略,失败接口采用默认数据。
为了保证版本的服务质量，空间采用了灰度发布策略。新特性可能按照用户尾号发布,每次新特性只对一小部分人可见。一段时间内的用户反馈后，不断修复和改进问题，再逐步扩大用户群对新特性的可见性，最后新特性才对全量用户可见。同时，也通过控制JS版本号来达到了灰度发布的目的。
通过这些优化，QQ空间成功踏入千万级在线的阵营，QQ空间5.0正式上线。其中主要变化：后端服务进行了重构，前端页面也进行了优化。
现代战争时代–数千万在线向亿级在线
经过反复的改进和优化，QQ空间服务质量大幅提高，但是，新的问题还是随之而来：
不满足于发日志、传照片的用户，想要玩游戏、使用某些web工具。同时，公司其它团队要在QQ空间上开发应用，但QQ空间的应用配置都写死在QQ空间平台逻辑里面。为配合其他团队上线，发版本需要一周，工作不可并行，非常耗时，受到了很大挑战。针对这种情况，我们采取了两大措施：平台和应用架构分离（如图5）、简单配置后上线（如图6）。

图6——简单配置后上线
如果某天深圳的IDC不可用了怎么办？
为了解决这个问题，空间团队做了全国IDC的异地部署，采用“一点写，多点读”模式的架构模型，将服务部署到深圳、上海、天津和西安。深圳是一个写入点，通过QQ空间自己的一套同步系统同步到全国各个IDC（如图7）。同时QQ空间提供了全方位的立体监控，7*24小时对服务做监控。

图7——IDC分布
如何快速发现和解决用户的问题？
定位用户问题需要花很大的时间成本，这就要求团队做很多的监控工作：服务器流量监控、接口调用监控、前端测速监控、前端调用错误监控。同时，在千万级到亿级在线的过程中，团队要有全国甚至全球的分布和匹配分布的运营能力；出问题可以快速切割，全方位的立体化监控能力；各个逻辑层持续优化能力。只有持续优化，用户才能感知到性能的增加，用户才会增加。
经过无数次的推敲和不断优化，QQ空间的服务能力已经能够支持千万级别的用户在线请求，并且能够给用户提供7*24小时的不间断服务。向亿级在线阵营冲刺也将指日可待！
有没有人想更上一层楼呢？来这里看更多吧，最好的就是要自己去实践一下真的想法，有句古话叫做不做不知道，一做吓一跳哦....关于产品经理培训课程的知识，请到课课家观看。。