展程游戏携手OneAPM：借助ITOM开启暴走无双模式

　　成立于2010年的北京展程科技有限公司，在创立之初就获得了李开复“创新工场”的天使投资。而且在成立仅仅4年之后，就已成为行业内盈利较高、发展较快的一家新锐企业，现在展程科技也成为国内最具潜力的手机游戏研发与运营企业。6年的发展，让公司从昔日的小三人团体成长为如今近200的“超级战队”。

　　面临哪些挑战？

　　李跃表示：“其实，我们也不断在寻找高级的运维人员，但是短期内很难到位，而且还需要付出很多的人力成本。如果使用像ITOM这样自动化工具，能够覆盖这部分成本，而且效果还不错的话，运维团队是非常愿意尝试的，而且管理层也鼓励我们这样做。”

　　在部署完OneAPM提供的Application Insight之后，李跃马上就发现了一个导致“40%资源空耗”的慢事务，开发和运维的同学很快就根据OneAPM提供的代码定位，迅速解决了这个问题。其实从开始试用OneAPM的产品到最后的完成部署，整个展程的技术团队包括管理层都非常支持，“不仅仅是节省了人力成本，更重要的是时间。”李跃表示，“在使用OneAPM的产品之后，我们能够实现全程的性能监控，在版本上线之前，我们就能提前发现代码的性能问题，所以新版本的上线时间几乎不再受到测试环节的影响了。”

　　为什么选择OneAPM?

　　众所周知，很多游戏在上线前都要进行多次测试，中变传奇网站，但是这一过程，往往都是在游戏功能开发完成以后，或者说在中后期阶段才能对整个系统进行压力测试和性能分析等等。展程希望能够实现全程的性能监控，这能将整个版本上线的速度提升20%以上甚至更快。所以展程科技对第三方工具的专业性要求非常之高。

　　此前，展程技术团队主要使用Zabbix来自建监控系统，一方面对人力资源要求很高，另一方面在功能上也不够完善，比如因为Zabbix的监控服务器在北京，如果监控某些香港或者东南亚的服务器，因为网络问题经常会收到误报。李跃坦言：“OneAPM的产品部署非常简单，尤其是跟开源产品相比，整个界面也非常清晰、直观，我们可以很快定位到接口性能和慢事务，其实Application Insight的功能非常丰富，但是这两方面是我们深度使用的功能，因为真的帮我们节省了大量时间。之前寻找一个问题，可能需要几个小时，现在只需要点几下鼠标，几分钟就定位到了。”

　　目前，展程科技旗下主打“悍将三国”和“暴走无双”这两款游戏，用户遍及国内、香港和东南亚地区。整个系统架构采用比较常见的Nginx和Tomcat来构建服务器集群架构，服务器的规模也达到几百台的量级，但是展程面临的最大问题，就是运维人手不足，而且对运维自动化的要求很高。而开发人员在寻找系统瓶颈问题时，操作复杂，及时性很差，这就直接影响到新版本的上线速度。众所周知，对一个高速发展的手游企业而言，时间无疑是最宝贵的“成本”。但展程科技在部署完国内ITOM领军厂商OneAPM的性能管理产品之后，开发和运维的效率马上就得到了明显的改善，让这家顶级手游厂商真正开启了“暴走无双”模式。

　　展程IT团队希望能够在生产系统上，部署一个全生命周期的性能管理解决方案，不仅仅能够覆盖系统服务层，而且也能深入到应用层和用户体验层进行深度监控。OneAPM提供的Application Insight不仅仅帮助展程实现了代码级应用性能管理，还实现了对前端浏览器、网络传输、应用性能、中间件性能、数据库性能的自动关联及分析功能，因为整个游戏行业都非常重视用户体验，而Application Insight在真实用户体验监控方面，不仅功能全面而且更为专业，因此很快就获得了展程技术团队的认可。

　　客户反馈

　　对展程科技的运维总监李跃来说，仅靠几个人来负责几百台服务器的稳定、可靠运行，保障服务器的高利用率，显然是不太现实的。一方面，展程技术团队需要查找接口瓶颈，性能损耗点，这对游戏用户体验来说非常重要，因为游戏用户对响应时间非常敏感的。另一方面，展程也希望第三方性能管理工具能够给出执行时间和排序功能，方便开发人员有针对性地进行优化。最重要的一点，就是整个IT团队迫切需要一些自动化检测工具，来帮助提升开发效率，快速定位到各种问题，尤其是影响用户体验的性能问题。