在大部分大型企业中,大数据技术的运用通常都是从少数相对独立的项目开始的(这里部署个Hadoop群集,那里部署个分析工具),并且会产生一些新的工作岗位(数据科学家、首席数据官)。
然而今天的情况截然不同: 异构的情况愈加普遍 ,企业内部使用了五花八门的工具。从组织结构方面来看,在大型企业中,集中化的“数据科学部门”正在逐渐变成更加“分散化的组织”,通常会有数据科学家、数据工程师,以及数据分析师组成的跨职能群体,并且更加深入地融入到不同业务部门中。因此对于平台来说,需求已经变的更加明确,需要让所有人能够就各种技术进行协同工作,这一点在我们去年的文章中就有提及,大数据项目能否成功,主要取决于能否将不同技术、人员和流程完美融合在一起。
因此 协作平台 这一领域目前正在经历快速发展,并催生出一种被部分人称作 DataOps (类似于DevOps)的概念。FirstMark也正是出于这个原因而投资了 Dataiku (可参阅我的上一篇文章: Dataiku,亦或早熟的大数据 )。这一领域其他比较重大的投资包括Knime(A轮,2千万美元)以及 Domino Data Lab (A轮1千万美元)。Cloudera刚刚发布了一款基于所收购的Sense技术开发的工作台产品。这一领域的开源活动也很活跃,例如 Jupyter 和Anaconda。