888集团6008

888集团6008动态

大数据有用使用率仅1% 大宗商业价值被铺张

  • 时间：2013-03-14
  • 泉源：

　　888集团6008（泉源：至顶网　作者：不详）

　　Gurjeet Singht是Ayasdi的团结首创人兼CEO。在Gigaom上带来了关于当下大数据手艺的看法 ，Singht以为：从盘问最先剖析数据自己就是一个死胡同 ，并指出了当下的大数据只完成了万里长征的第一步。

　　以下为译文：

　　许多人都会被震惊 ，若是他们知道研究职员只是从网络到数据中1%的数据举行剖析和提取看法。而就是这1%被剖析的数据支配了刷新和看法 ，现在我们称之为“大数据”。而在天天网络的1 quintillion(百万3次方)字节的数据中 ，有99%的数据完全未被使用。

　　我们都知道使用大数据很是的有前途 ，然而基于当下的许多因素 ，数据的有用使用仍然是个瓶颈。药物研发历程中 ，数据的使用多于化学历程;新能源的探测中 ，数据的使用凌驾地质学;恐怖分子的追踪、预防诱骗中同样云云。

　　现在我们已经熟悉到的上述的这些问题和其它一些全局性问题 ，都是数据使用的瓶颈所造成的。这种情形催生了大数据上的海量投资 ，而数据事情同样成为了最热门的岗位 —— 数据科学家 ，更把私人数据剖析服务提供商的估值推到数十亿美元。然而 ，你能想象到将剖析的数据从1%提升到100%的远景吗。

　　对已有数据剖析的看法

　　若是你拥有一个和人类基因一样重大的数据集 ，你该怎样最先?好比 ，奥巴马最近提倡对人类大脑举行绘制?为了突破 ，我们需要解决这个天下上最重大的问题 ，我们需要基础上改变从数据中获取知识的途径。这里我们必需首先思索的是：

　　从盘问最先一定是一个死胡同：盘问自己并没有问题。事实上一旦你知道问什么问题 ，盘问是至关主要的。同样这也是要害所在：从盘问最先的初志是从大宗的数据中发明一个指针 ，然而他们并未做到。

　　数据是有开销的：大部分情形下 ，数据的贮存已经不再腾贵。并且通过使用类似Hadoop或Redshift的工具 ，纵然盘问大宗的数据都变得非�；�。虽然 ，这只是从硬件的角度上讲。

　　看法就是款子：我们愿意承�；ㄏㄒ焕碛删褪鞘葜械目捶ǹ梢允头偶壑�。遗憾的是 ，我们失去了已网络数据中大部分的价值。虽然网络数据的本钱可能会很高 ，可是无效剖析带来的本钱显然更高。当下并不保存什么工具可以直接从数据中提取看法 ，我们依赖着很是智慧的人去提出假设 ，然后使用我们的工具去证实(或者是否定)这些臆测。由于依赖的是臆测 ，这个途径保存着天生的缺陷。

　　你已经拥有了足够多的数据：这里经常保存的信心就是 —— “若是我们拥有了足够多的数据 ，我们一定会获得我们想要的。”太多的时间和精神被铺张在新的数据网络上 ，着实你可以用你手中的数据做更多的事情。举个例子 ，Ayasdi最近在Nature Scientific Reports宣布的从12岁乳腺癌患者身上获得的新看法 ，就已经被深入剖析了10多年之久。

　　大数据只是起步 ，并不是终点

　　基于盘问的剖析在某些方面确实可以起到许多作用 ，可是很显然并没有知足人们对大数据的期望。

　　经�；崽轿颐窃诎┲⒀芯俊⒛茉纯碧健⒁┪锓⒚鳌⒔鹑谮财觳獾攘煊蛉〉昧艘π酝黄� ，若是由于炒作出来的“大数据泡沫”导致人们由于种种缘故原由在数据剖析投资上的失败 ，这与犯法又有何差别?

　　以是我们需要给予数据剖析更高的期望 ，我们更需要熟悉到下一代解决计划必需知足：

　　授权领域专家：数据科学家泛起的频率已完全跟不上企业的需求。这里无妨这么做 ，阻止继续为他们(数据科学家)开发工具;取而代之的是 ，给商业用户(生物学家、地质学家、清静剖析师等)开发对应的工具。他们比任何人都明确问题泛起的情形 ，但可能跟不上最新的手艺或数学。

　　加速探索：我们需要更快的获得要害看法。事实证实大数据手艺的处置惩罚速率并没有允许的那么快。若是一直这样生长下去 ，可能我们永远都得不到足够快的要害看法获得速率 ，由于我们永远都不可能针对所有数据提出所有的问题。

　　人机整合：为了更快的获得看法 ，我们需要加大对机械智能的投资。我们需要机械能在数据点之间追求毗连和关系时继续更多的重任 ，让其给商业用户一个更好的起点去探索看法。事实上通过算法途径解决这些问题是完全可行的 ，并且人们自己永远都不可能发明大型数据集上的显著特征。例如在最近的一项研究中 ，通过算法盘问网络搜索引擎日志发明了之前未报告过的药物副作用。

　　剖析种种形式的数据：虽然 ，研究职员需要剖析结构化和非结构化的数据。同样我们需要熟悉非结构化数据的多样性：所有语言、声音、视频和面部识别文档。

　　当谈到大数据演变 ，我们只处于其初级阶段。显而易见若是我们继续剖析百分之一的数据 ，那么我们只能挖掘其1%的价值。若是我们能够剖析其它的99% ，那么想象一下我们可以从种种方面推动天下前进。我们可以加速经济增添、治愈癌症及其他疑难杂症、镌汰恐怖袭击、以及在一些其它的挑战上拿到入场卷。




网站地图