登陆注册
2225400000006

第6章 大数据,你还不知道的部分(4)

就像我们在现实中交换电子文档时,不一定靠U盘这种物理距离最近的方式,可能会采取MSN或腾讯QQ之类的即时通讯,因为它的速度更快、更方便,而且人们不会计较这些文件绕经网络服务器是否会被长期扫描和监测。这就是技术优势的巨大作用。

第二,数据传输诱导策略。

美国通过扩大数据传输带宽,可以诱导更多的数据流经本国,从它的家门口过,给它做一系列的数据截留分析工作大开方便之门。越多的数据流经美国,它能做的分析监测就越全面,那么它最终的收益就远远超过了风险。比如美国曾租用中国的卫星来传送数据,以提高非洲跟美国之间的带宽,就是一种付出较小风险获得较大收益的表现。

第三,控制数据通道,从其他数据源快速收集信息。

这一策略包括与电信运营商的合作和对其数据源的监控。例如,联邦政府的海外情报监听法庭要求美国电信运营商(Verizon)每天都要向国安局提交元数据--电话记录数据,包括通话双方号码、通话长度等,虽然不包括通话内容,但已经提交了大部分的个人信息。

第四,通过与民营公司和其他国家建立技术联盟来收集和控制数据。

综上,美国最早意识到了需要加强信息管理与网络安全,而加强的办法就是用政府的手去控制民营企业及其他国家的相关服务商,建立技术联盟。

1978年美国国会通过了《外国情报监视法》(FISA),1986年又通过了《电子通信隐私法》(ECPA),1994年通过了《执法通信辅助法》(CALEA),从而建立起了全方位的保障体系,联邦政府可以从容地对本国及外国进行监听监视。

最重要的部分是与技术巨头有关的,即那些控制互联网的大型公司,在《执法通信辅助法》中规定,执法机关可以根据法院监听令直接接入电信网络,启动电信运营商交换机中的监听功能。这意味着美国法律要求电信运营商等网络、通信服务者必须为政府预留一定的接口以备不时之需。

根据《华盛顿邮报》的披露,在“棱镜”计划中,一共涉及至少9家美国的IT公司,微软是在2007年9月11日第一个加入其中的,苹果公司则是在2012年10月最后一个加入的。另外还包括思科、IBM、谷歌、高通、英特尔、雅虎、脸书和甲骨文等。它们几乎垄断了全球IT产业的所有领域,包含了从硬件到软件再到服务三个层面,自然为美国政府提供了强大的技术支持。

比如,如果你的联网电脑使用英特尔公司提供的某款芯片,就会发送一个序列号到英特尔公司,这也意味着在这台电脑上运行的一些信息也可以同时一并发送过去。另外,操作系统是网络软件运行的载体,联网后我们会经常收到自动更新的提示,这意味着垄断操作系统的微软公司可以轻而易举地掌握一台电脑的网络活动。同时,由于操作系统在不断更新,微软公司通常会最早发现其系统存在的漏洞,他们向政府安全部门提供的漏洞信息,会有助于情报机构攻击那些还没有修补漏洞的计算机。

再比如,人们用雅虎邮箱发邮件,用思科的网络电话通话,用谷歌的地图标注、搜索,用脸书发布社交状态,用MSN即时通讯聊天,所有这些网络活动,都会在各大公司的服务器上留下原始数据,而且还是人们主动提供的信息,自己花钱把信息送上门。

这些公司的服务器是如此之多,它们可以向美国政府开放直接访问的后门,帮助情报部门读取数据,甚至能够全程参与国安局的监控计划。这些大数据的技术巨头,成为了政府收集信息和分析数据的绝好帮手,而这在民众毫不知情的情况下就可以完成。

海外盟友的数据来源包括澳大利亚、英国、日本、加拿大和新西兰等国家,比如著名的“五眼联盟”就是由美国、英国、加拿大、澳大利亚和新西兰五国组成,双方互通有无,协同收集数据。联盟成员甚至可以彼此监听对方国内的数据,绕开本方国内的法律禁区,然后交换数据。第五,建立尽可能多的海外非盟友“数据源”。当然,只有盟友数据源是不够的,美国还有大量的海外非盟友数据源。

比如斯诺登就透露说,为了窃取中国大陆的数据,美国采取的办法是直接在中国境内建立数据源合作伙伴。香港中文大学在1995年成立了香港互联网交换中心,它的前身为港中大连接美国的数据专线,拥有服务于全香港的网络数据交换服务器。美国在这个基础上可以方便地潜入进来,对数据进行窃取。

为数众多的黑客也是这一数据源的提供者,国安局旗下有一个叫作TAO的机构,拥有多达六百名高级黑客,来自世界各地(包括中国)。思科公司提供的设备为这项工作提前留下了后门,尽管思科强烈否认这一质疑,但随着曝光的深入,否认的声音已越来越缺乏说服力。

只要能获得海量的源源不断的数据,美国强有力的大数据存储和分析系统就可以派上用场。

第六,建设大型数据中心来保存数据。

为了保存这些海量数据,还需要一个庞大的数据库和处理中心。NSA在犹他州耗资20亿美元建立了一个大型的数据中心,足以保存5000亿G的数据,相当于全球500年的通讯量。为了实现这一目标,NSA专门开发了一个叫作Accumulo的大数据存储系统,并与相关的有军方背景的民用公司合作,开发这一系统的商用版本,来持续获取数据利益。

第七,对元数据的挖掘技术,使美国有能力构筑关联图谱。

元数据是最基本的数据单位,在移动互联网快速发展的今天,我们每个人几乎每时每刻都在产生数据。比如姓名、电话号码、邮箱地址这些都可以称为元数据,它可以拿来当作节点,把有过联系的人、号码、邮箱用线连接起来,就构成了数据和信息背后的人物关联图谱。这表明,元数据虽然单个看起来不怎么重要,但大量集中起来,却非常便于构建个体之间的关联。再比如,对电脑来说,元数据记录了一台计算机的工作环境,包括操作系统、浏览器、应用软件版本等基本信息,那么收集这些元数据,则是黑客发起网络攻击的必备步骤。对元数据的收集与分析能力,说明美国的网络监控水平已经具备了大数据时代的显著特征。有了这种对海量元数据的存储与分析能力之后,这些庞杂的信息经过超级计算机的快速运算,就能从中显露出不易察觉的规律,从而为情报部门提供有效的情报信息。在大数据时代,美国对于关联图谱的挖掘技术进展迅猛,使得从元数据中能够挖掘的隐私越来越多,简直到了无孔不入的地步。换句话说,现有的技术可以做到一切:侦测到你每天发送的短信数量、电话频率以及约会对象,并且深入地探查出你的全部生活和工作习惯,让你成为一个彻底透明的人。

一项调查显示,美国国安局拥有一个4.4万亿个节点、70万亿条相关联的图谱数据。按照全球70亿人口计算,国安局有能力为每人保存将近630种信息,可以分析出每个人多达1万种的关联。要知道,我们只需要4个时间点和位置就可以确定一个人的身份了,而且准确性已经高达95%,那么1万种呢?这一技术的先进程度已超出普通人的想象,相关的技术告诉我们,即使你已隐姓埋名、流落天涯,只要他们有这个意愿,就可以轻松地找到你,并能穷尽你的一切社会关系,甚至比你自己知道的还要多。

第八,强大的分析工具:可视化和实时查询的大数据系统。

美国国安局还拥有一套大数据可视化和实时查询系统,名字叫作BoundlessInformant。它的作用在于将监听、收集到的全球数据进行可视化和能够实时查询的分类,把不同的国家、地区用不同的颜色显示,构建出全球信息分布图。有了这样的大数据系统后,就具备了强大的分析能力,不管收集到多少数据,都可以轻松地整理、归类、分析和预测。

第九,拥有全数据挖掘技术,进行“无死角”数据收集。

美国一方面在挖掘元数据,另一方面也在发展对全数据的收集技术,争取做到数据收集无死角。像有一种叫作Narus的光纤监听设备,可以进行内容层监控,还有一种叫作爱因斯坦3号(Einstein3)的系统,可以对数十亿邮件的全文内容进行扫描。语音监听和识别也是这一工作的组成部分,对多语种的语音视频内容进行分析辨别。

第十,为全球互联网的发展提供了可能性。

我们已经很难用一个特定的词汇来形容全球互联网的结构。但它的主要构成特点我们是清楚的,一方面它就像树一样,有根、主干和枝蔓,最后连接到每一个用户;另一方面它又是平状的,具有平等和无中心的特点,每一个节点的信息都可以在全球的网络中自由流通。也就是说从信息流通来看,互联网是一个扁平的世界,但在管理上,却仍然是自上而下的结构,有骨干网络来处理、管理所有的信息。

例如在中国,163和169骨干网承担着中国80%以上的网络数据流量,它们统称为中国公用计算机互联网(CHINANET),另外还有中国教育和科研计算机网(CERNET),全国科研机构的中国科技网(CSTNET),中国金桥信息网(CHINAGBN)。它们共同组成了由上到下的中国四大骨干网络。从网络监控和攻击的角度来说,自然是从上往下更好,这有利于获取更多的信息,也拥有更大的控制权限。

从棱镜门事件我们可以看到,由于具备足够的资金、技术和不受限制的权力,较大的机构是大数据的最大受益者,它们可以窥探个体的信息和收集、预测人们的关联数据,达到控制人们需求并实现一系列组织计划的目的。要想充分防范大数据技术的滥用,就需要发挥我们每一个人的创造性,由人去主导大数据的进程,而不是成为数据可以控制的一部分。

我们每个普通人都需要参与进来,思考大数据技术的合理开发,并加入这个神奇的新时代,成为它的主人。

同类推荐
  • 清商

    清商

    古为郡国之地,今谓羊绒之都;早称天下北库,现誉北方温州。清河故地,源远流长,经过数千年的沧桑演变,积淀了丰厚的历史文化,更为后人遗留下特有的商业根脉。清河商业活动较早,史上久负盛名。著名文学家左思曾在《魏都赋》中盛赞:“锦绣襄邑,罗绮朝歌,绵纩房子,缣总清河。”自那时起,清河人就以“崇德尚义,勇闯天下”的精神,踏上了永不止息的创业之路。中国历史上罕有的南北交通动脉大运河贯通以来,油坊古镇便借助清河为郡为国的封地优势,吸引了大量的外地商家云集此处,一度成为华北外埠来货和当地物产集散进出的重要枢纽,闻名遐迩。
  • 被领导的艺术

    被领导的艺术

    任何一个人,不管在什么行业,担任什么职位,都同时充当领导者和被领导者两种角色,但是平日里往往将领导艺术摆在第一位,忽视了被领导的艺术。每一个人,几乎都在领导别人的同时接受别人的领导,所以我们最好先学习如何接受领导,然后才能懂得如何领导别人。因为只有学会被领导的艺术才能当好领导者。本书从做有准备的被领导者、与领导建立和谐关系、领会领导的真实意图、获得授权时做好本分等多个方面,运用心理学、处世哲学、管理艺术、领导学等领域知识,通俗、细致、独到地讲解了被领导的艺术和智慧。这是曾仕强教授首次系统讲授被领导的智慧,是领导者和被领导者必学的一门新课。
  • 我的致富经:广西农村青年创业成才案例汇编

    我的致富经:广西农村青年创业成才案例汇编

    本书根据创业活动的环境、个体、团队、组织等主体层次,创业个体中的务农青年、返乡青年、大学生青年等主体类型,创业过程的孕育期、初创期、成长期、转折期等发展阶段,创业项目所属的种植、养殖、加工、工商、服务等不同行业,企业管理的供应链物流、生产运营、技术研发、市场营销、人力资源、财务会计、信息管理等专业职能,组织管理的情报、决策、计划、组织、领导、控制和创新等程序职能,对广西农村青年创业典型案例进行全面深入的研究和分析。
  • 管理的坎

    管理的坎

    本书围绕企业管理的实战操作,整合《经理人》杂志中“海豚会”栏目(《经理人》重点打造栏目,实为内部高端交流圈,成员都是国内各企业高层管理者和当家人)的相关沟通心得与交流实录。根据图书市场寻求,重新整理。意在用权威、务实、细节针对性的管理方法和实践案例为读者讲解如何管理企业,如何带好团队。
  • 如何经营一家最赚钱的餐厅:运营情景分析训练全集

    如何经营一家最赚钱的餐厅:运营情景分析训练全集

    本书分为六篇,涵盖客户管理、员工管理、设施管理、物流管理、财务管理、品牌管理六个方面。将每篇细化为餐厅经营中经常会碰到的一个个情景。每一种情景首先讲述一个餐厅经营中的典型负面案例,从发生在餐厅中的真实镜头出发,让读者仿佛置身于餐厅之中。然后对该负面案例进行诊断分析。接下来给出经典模板,这一部分是餐厅老板拿来就可以用的范本,真正体现出了本书的实战性。最后一个板块为模板解读,更加深入地针对每一小节的话题展开延伸,告诉餐厅老板们更多有关经营一家最赚钱的餐厅的技巧。
热门推荐
  • 佣兵星陨

    佣兵星陨

    星陨是混血儿,天生就生的俊俏,在最混乱的地带,从小被父母抛弃的他给自己取名星陨,不是杀手,也没有过人的身手,只有一颗被污染的心,和善的微笑下隐藏着什么样的阴谋,虽然花钱成为美国正式公民~~~
  • 有益健康128种室内植物

    有益健康128种室内植物

    也许你知道吊兰很适合装饰家里的环境,但你不一定知道它净化空气的能力很强大;也许一盆仙人掌对于你来说并不重要,但当它在夜晚吸收二氧化碳、释放氧气的时候,对于你的意义就非同小可了。几盆小小的花草,也许不会使你的生活有天翻地覆的变化,但它们源于自然的气息、绝对天然的属性却会为你的健康生活添加砝码。本书是《有益健康的100种室内植物》的第二版,在第一版的基础上,我们又精心挑选了28种室内植物,并重新修订了内容,目的是让本书更完美超值,更能切实帮助读者亲近自然,拥抱健康。我们建议您看完本书,就立即把适合您的花花草草带回家吧!
  • 江山为聘,皇女倾天下

    江山为聘,皇女倾天下

    一个人,到底会被人设下多少局?一个人,到底要怎样摆脱棋子的命运?五岁时,占卜师一句“云茨城必将覆于她手”,成为了她命运的审判书,所谓的父皇,因为占卜师的话将她囚于连接人鬼两界的鬼城。十年囚禁之苦,她从未想过,自己有一天还能够重见天日。可当她站在鬼城之外,向接她的少年伸出手时,便一步步踏进了早已为她设好的局。二十八星宿齐聚,四神兽现身,她拥有无可匹敌的力量,可是,真的会幸福吗?一步步前进,一步步修炼,却发现自己一步步的看清了他们设在自己身上所有的局。本该恨他的啊!可为什么就是下不了手呢?本该感谢这些神兽的啊!可为什么他们也把她当作棋子呢?
  • 艾泽拉斯深海之王

    艾泽拉斯深海之王

    资深休闲玩家重生魔兽世界,永恒之井一条鱼。
  • 追妻无门:女boss不好惹

    追妻无门:女boss不好惹

    青涩蜕变,如今她是能独当一面的女boss,爱了冷泽聿七年,也同样花了七年时间去忘记他。以为是陌路,他突然向他表白,扬言要娶她,她只当他是脑子抽风,他的殷勤她也全都无视。他帮她查她父母的死因,赶走身边情敌,解释当初拒绝她的告别,和故意对她冷漠都是无奈之举。突然爆出她父母的死居然和冷家有丝毫联系,还莫名跳出个公爵未婚夫,扬言要与她履行婚约。峰回路转,破镜还能重圆吗? PS:我又开新文了,每逢假期必书荒,新文《有你的世界遇到爱》,喜欢我的文的朋友可以来看看,这是重生类现言,对这个题材感兴趣的一定要收藏起来。
  • 专情首席不爱我

    专情首席不爱我

    她,相貌平平,他,赫赫有名的珠宝世家继承人,才貌双全,平凡女却对他一见钟情,从此扛上首席绝不罢手!
  • 天兆传奇

    天兆传奇

    天道茫茫,自凄凉;难回望,一曲悲歌愁断肠……他身于帝王家,享尽芳华;他成于帝王家,灭亲成帝;他败于帝王家,天谴断魂;他经历了亡国之痛,尝尽了悲苦冷暖,投身在战争杀伐,谋划在尔虞我诈;他凭借胆识坐拥百万军马,他凭借人格集贤纳仕,他走于鬼门关边,与人斗,与鬼斗,书写下一段荡气回肠,可歌可泣的帝王路……
  • 灵狼·裂魂

    灵狼·裂魂

    这里有冬过先生和狼,这里更有卖火柴的小红帽莎莎,这里有七宗罪的寻觅之旅,这里有……不管是元神被劈成两半,还是这两半元神分居两地,自己就应该跟自己在一起!前路坎坷,且看奇乐儿的两半,苦涩且甜蜜的艰辛爱情。
  • 谁许你爱我

    谁许你爱我

    因为一场车祸,我失忆了。我不知道,我应不应该,爱上那个高大,帅气,冷酷,且脾气奇丑,老和我作对的富家子弟赵子浩……最后,我记忆渐渐复苏,明白了自己身份。
  • 鬼帝绝宠:皇叔你行不行

    鬼帝绝宠:皇叔你行不行

    前世她活的憋屈,做了一辈子的小白鼠,重活一世,有仇报仇!有怨报怨!弃之不肖!她是前世至尊,素手墨笔轻轻一挥,翻手为云覆手为雨,天下万物皆在手中画。纳尼?负心汉爱上她,要再求娶?当她什么?昨日弃我,他日在回,我亦不肖!花痴废物?经脉尽断武功全无?却不知她一只画笔便虐你成渣……王府下人表示王妃很闹腾,“王爷王妃进宫偷墨宝,打伤了贵妃娘娘…”“王爷王妃看重了,学仁堂的墨宝当场抢了起来,打伤了太子……”“爱妃若想抢随她去,旁边递刀可别打伤了手……”“……”夫妻搭档,她杀人他挖坑,她抢物他递刀,她打太子他后面撑腰……双重性格男主萌萌哒