大数据对于运维有三个方面的意义(2)
大数据对于运维有三个方面的意义(二)
(2016年9月29日)
(二)业务数据
业务运维系统的价值数据。如下:
1)业务dashboard
说白一点就是类似业务层的监控数据。我们可以做一些数据汇总然后平台化展示出来。比如业务的可用性访问状态,访问量的数据状态,DNS解析服务的状态,模拟产品话的监控状态等。可以让这些数据活的更有价值从而也更直观体现出业务的稳定状态。
2)trace调用链
这一点重要性毋庸置疑,从GOOGLE的dapper到twitter的zippikn在到 赵海平跳槽到阿里(其实是说在做这样的鹰眼系统)。可以清晰看到业务调用之间的耗时,模块之间的依赖map可以非常快速的帮助运维定位问题。从而提高业务稳定状态和自身效率
3)业务拓扑切换
有很多的重要业务都不是单点在一个IDC中心,往往多活在多个地方为了可控单点风险。所以在这样繁杂的业务体系当中经常会有业务的稳定性切换。
比如模块降级次数,比如切换频率,切换之后的稳定时间,切换之后的访问质量等这些都需要数据描绘出来。
4)业务指标
每个运维要明确自己的服务的业务指标。如果是做WEB要看访问量,如果是做电商要看订单率等。而且要实时展示出来自己的业务指标。我们可以根据历史数据和经验进行预测和总结。比如我们要扩容带宽,我们要购买服务器这些数据都是我们的依据。
5)业务基准数据
比如运维锁服务器的平台的业务最大QPS,购买新服务器硬件性能的测试基准数据。在业务模式下的资源状态数据都需要记录和展现,特别是对我们在处理问题的时候能提供强大的依据。
6)业务日志挖掘
原来我们就习惯使用syslogd做统一化展现。现在的大数据时代激情四射早已颠覆了传统的技术。ELK就有一统江湖的意思。同时也有很多大公司开始自修复系统,其实深度来源就是做数据挖掘。根据我们所有收集到的日志做挖掘,展现。最后做调度分配,自修复,子降级。这也是我个人非常期待的事情。
(三)数据如何有效展示
1)平台可视化
运维的本质-可视化(说到这里我联系了作者想做进一步的辩论,发现作者并不是本意。有点跑题了嘿嘿),我觉得可视化是描述数据最好的方式方法。我们根据数据做归档,做分析,做rrd 最后分析展示这本身也是想表达我们的本意。
2)业务耦合关联
这个嘛就是说如何让老板,让RD能够容纳我们的平台。本来我们是说要展现自己但是这里就是涉及到了边界问题。因为有些数据需要和业务交互,有些数据需要和服务器交互。这就需要和业务解耦过程是否无污染的影响业务,是否可以有良好的API实现都是非常的关键。
3)沟通先行
我们在做这些事情的时候要给予老板希望与细心,阐述我们的目的和价值。因为我们在完善一个看似意义不大的平台。所以这里一定要多接触业务,运营阐述我们自己的想法给予我们足够的时间来作这些事情。
4)技术方向
其实这里做平台化的体系,语言工具太多了。我觉得还是那句话拥抱开源,避免重复早轮子! 因为当我们争取到的时间我们就已经有KPI在身了。如何能用好身边的资源和把控时间非常重要。因为一旦项目失败所有的印象都会要在从0开始。
数据对于我们的工作和生活都足够重要。我们要尊重科技学会善用数据来为我们的工作支撑方向,体现价值!运维的工作特性也是特别需要数据来体现。足可以提高我们的存在的价值和对工作的长远影响。希望这些能够对运维的朋友有所帮助!
(续完)
(原题目:大数据对于运维居然有这三方面的意义【行业分析】)
(摘编自:微信公众号 护航科技 / 编辑 严进军)