桑文锋 - HRTechChina.com - 向上的力量！

桑文锋

在大数据时代，每家公司都要有大数据部门吗？本文作者：桑文锋，神策数据创始人&CEO，前百度大数据部技术经理；神策数据（Sensors Data）是一家专业的大数据分析服务公司，致力于通过大数据技术帮助客户实现数据驱动，提升用户体验。如果这个问题换做是：在电气时代，每家公司都要有个发电厂吗？是不是会更好回答一些？事实上每一种重大技术的出现，都会对产业产生大的变化。在蒸汽时代，采矿机采用蒸汽机后，会带来生产效率的极大提升，而轮船加上蒸汽机，再也不需要靠风才能航海了。在电气时代，电灯代替了蜡烛，电报代替了快马送信，而报纸也被广播和电视所侵蚀。可以说是现有产业加上新技术，形成了新产业。我们回过头来看这两次工业革命，生产蒸汽机的企业只有少量几家，而发电的企业在美国也只有通用电气和西屋电气。并不是每家企业都要从事这些基础设施的研发和生产，更多的是对新技术加以应用，发挥新技术带来的价值。在 IT 领域，软件刚出来时，可以说是计算和存储完全混杂在一起。有人尝试将计算硬件进行分离，歪打正着成就了 Intel。有人尝试将存储系统分离，因而有了 Oracle。 Intel 和 Oracle 固然伟大，但它们的价值更多的还在于有广大的企业采用了这些新的技术，在具体的行业中，产生了更大的价值。同样，云计算这种理念固然是好，但如果每家企业都建立自己的云计算中心，从资金和人力投入上，一定是不划算的，更严重的问题是做不到最优。相反，有了 AWS 和阿里云这样的云计算提供商，让中小企业更便捷的进行创新应用。回到题目中的问题，在大数据时代，每家公司都要有自己的大数据部门吗？结论也不能下的太武断。早在 2008 年，云计算的概念刚刚兴起，百度内部出现了两拨势力。一拨要从零开始打造自己的大数据底层技术，把 MapReduce、GFS、BigTable 这些组件都要实现一遍，结果花了两三年时间，也没能稳定运行。而另外一拨势力，直接采纳开源的 Hadoop 生态，很快在公司内应用起来。而我当时做的日志统计平台，也是采用了 Hadoop。但百度的数据规模毕竟太大了，所需的集群规模，开源版本根本撑不住，于是不得不改写 Hadoop，这样就和开源的版本渐行渐远，等到后来再也合不到一起了。曾经有一年多的时间，我们部门新设计和实现底层的存储及计算系统，结果发现开源的版本也差不多实现到了同样效果。虽然许多内部的人觉得我们怎么总重复造轮子，但我明白还是需求使然，你面临的需求相对领先，但也没有领先到像 Google 那样提早 5 年。但对于小公司来说，则完全没必要从零开始做，还是要尽量用开源的产品。整个 Hadoop 生态，要比我 2008 年刚用的时候，要成熟很多。那个时候我们去拿开源的版本，编译部署，一个新手可能两周都不一定能正常的运转起来。而现在下载一个 Cloudera 发行版，两个小时就可以正常跑任务了。与此同时，又面临了新的问题，因为大数据平台牵涉到数据的采集、传输、建模存储、查询分析、可视化等多个环节，而开源领域只是一些组件，于是各家公司都在纷纷打造自己的大数据平台，这就像 Oracle 之前，各家都在打造自己的存储系统。这显然不是一件性价比高的事情。有市场需求，就会有满足相应需求的公司诞生，于是就诞生了一堆提供大数据服务的公司。由于这一新领域还处于早期，这些创业公司所能提供的服务并不会特别的完善，要么是以项目制的方式运转，要么是提供专门应用场景的服务。这样，对于一些企业来说，这些创业公司提供的服务，似乎自己也能实现，那何不干脆自己做？这创业一年多以来，我看到了太多的公司在打造自己的数据平台，但做的还不够完善。不管是技术实力还是人力投入上，都有点力不从心。如果选用了这些第三方数据服务，那岂不饭碗被抢了？可我要说的是，饭碗早晚都会被抢，只是时间早晚的问题。这里只需要问一个问题：我所做的数据平台，是不是其他公司也是类似的需求？如果是的话，那肯定也有其他公司做着类似的事情，做的东西会大同小异。那么，就会出现专门的公司，来解决这种通用的需求。因为这些公司专注于解决这一块问题，所以会更加专业，并且舍得投入。而对于需求公司来说，除非自己转型去专门做大数据平台，不然在投入上，肯定不是一件性价比很高的事情。与其如此，不如及早侧重于自己的核心业务，关注应用需求本身。那对于企业来说，在大数据时代，应该怎么做呢？我的建议是三点：首先，要拥抱大数据技术。新的重大技术出现，都带有颠覆性。一不小心，就会被革命。但也不是说企业已有的业务不用搞了，都来搞大数据吧。在大数据这件事上，还是要从需求出发，而不是从大数据出发。有人会问我，我有了一些数据，给我讲讲怎么能发挥更大的价值。坦率来说，许多时候不了解业务场景，很难提出建设性的意见的。相反，我们要先看在企业满足客户需求的时候，还有哪些重大问题没有解决好，如果采用了大数据技术，是不是可以更好的解决？如果有这样的点，那非常好，就勇于去尝试。如果没有，那就继续学习大数据的知识，再等待这样的场景出现。其次，企业要有懂大数据的人。这种人不一定是全职的，但至少是可以将企业的业务和大数据技术结合起来的人。这种人不一定对大数据技术本身很懂，但善于使用新技术。如果企业现在还没有，并且还没招到。可以去培养一个头脑灵活，乐于学习新技术的人。如果抛开大数据系统的实现挑战，理解大数据的应用场景，那难度会降低不少。最后，要善于利用第三方服务。能用第三方服务解决的，就尽快去尝试。在竞争激烈的情况下，通过采用新技术，获得技术红利，跑的更快。就像爱迪生当年发明白炽灯后，那些更早将白炽灯用于工厂的企业家，更有可能提升工人的工作效率。这篇文章的内容，主要参考了吴军的新书《智能时代》。对大数据和机器智能感兴趣的读者，强烈推荐这本书。

桑文锋
2016年09月19日
桑文锋

大数据分析服务商神策网获线性、明势600万元人民币天使投资来源：猎云网（文/马凤仪）专业于大数据分析服务，致力于帮助客户实现数据驱动的Sensors Data（神策网）创始人桑文锋向猎云网独家透露，Sensors Data于今年3月获得由线性资本和明势资本共同领投，以及薛蛮子跟投的600万人民币天使投资，于今年4月全部到账。需要强调的是，拿到天使融资的Sensors Data当时并未上线。据了解，团队核心成员桑文锋，曹犟，刘耀洲，付力力均来自百度大数据部，从零构建了百度的日志分析大数据处理平台，有多年的大数据处理经验。这也是该产品还未上线就受到资本关注的原因之一。 Sensors Data针对互联网企业提供大数据分析产品和完整解决方案，以及针对传统企业提供大数据相关咨询和完整解决方案。目前，针对互联网创业公司推出了深度数据分析产品Sensors Analytics，支持私有部署、任意维度的交叉分析，并帮助客户搭建数据仓库基础。考虑到市场的需求以及企业对数据的依赖性，该产品第一阶段的目标用户主要是电商和O2O类创业公司。产品9月25日上线至今，用户数量达到数百家，其中包括爱鲜蜂、多盟、AcFun、快快鱼、PP租车、51offer等，其收费标准是根据员工数量以及接入的数据量来计费，价格在2～20万元之间。笔者分别采访了线性资本的两位合伙人王淮和张川、以及明势资本创始人黄明明、薛蛮子的助理王坤亮等人，他们都表示，Sensors Data的团队是吸引他们投资的主要原因之一；另外，几位投资人都不约而同地谈到数据的发展趋势，其中线性资本创始人王淮表示：“数据系统是做产品和市场的眼睛，没有数据，做企业就是瞎子”；明势资本创始人黄明明也表示：“深层挖掘数据是未来企业精细化运营以及提高企业效率的关键。”

桑文锋
2015年11月06日