全球10大终极数据库 - 上篇

10. 美国国会图书馆

不管是不是在数字时代,全球最大的图书馆——美国国会图书馆都可以荣登这一列表。国会图书馆的藏书数量之高——1.4亿多册,范围之广——从烹饪书籍到殖民地时期的报纸到美国政府刊物。据估计,如果把国会图书馆的文字以数字形式存储,其总量将达20TB。

如果你(特指老美)在互联网上找东西又找不到时,那么国会图书馆应是你要去的地方。对于研究美国历史的用户来说,国会图书馆是个必去之处,用户访问国会图书馆网站的“美国记忆”目录,该目录下大约有5百万册相关资料。

但不幸的是,国会图书馆并无计划把所有的馆藏内容都数字化,并且有些馆藏是限制查阅人群,只对最高法院法官、国会议员、馆内工作人员和其他政府官员。但是,只要你有国会图书馆的借阅卡,就可以借阅(大部分)资料。(编者注:该图书馆的资料不能外借,读者只能在馆内查阅。)

国会图书馆数据库概括:

  • 1. 馆藏资料总量1.3亿份; (包括书籍、照片和地图等)
  • 2. 2900万册书;
  • 3. 每天新增1万馆藏;
  • 4. 书架长度共有530英里;
  • 5. 5百万份数字文档;
  • 6. 文字数据总量20TB。

9. 美国中央情报局(CIA)

CIA的任务(之一)就是收集和散发各种信息和资料,所以CIA能上榜就不足为奇了。虽然CIA数据库的总量外界不得而知,但下面这个说法是十分肯定的。这个机构一定收集了大量的公共信息和私人信息。(编者注:其收集信息的手段十分多样化。)

CIA数据库对公众开放的部分有:“信息自由法”电子阅览室、“世界概况”和其他情报相关出版物。在“信息自由法”电子阅览室中,公众可以看到成千上万的美国政府官方文档(也有已解密的文档)。电子阅览室每月新增100份文档,文档主题内容范围很广,从巴基斯坦核发展到“韩战”(西方皆称“韩战”,大陆称“抗美援朝”)中的啤酒种类。“世界概况”收藏了各个国家和地区的信息,包括地图、人口数量和军事能力等。

编者注:美国中央情报局图书馆电子阅览室网站 http://www.foia.cia.gov/ 根据《美国信息自由法》,美国政府公布了大批中央情报局国家情报评估等情报档案。在该网站“文件搜索”框中输入关键词便可搜寻所需档案,也可按地理、功能和形式分类查询。

CIA数据库概括:

  • 1. 电子阅览室每个月新增100份文档;
  • 2. 覆盖全球250多个国家和地区的统计数据;
  • 3. 数目不详的机密资料

8. Amazon 亚马逊

Amazon,全球最大的零售网站,“收藏”了5900万活跃用户的信息,包括个人信息(电话号码等)、收据/发票、清单和还有其他能从用户那提取的数据。Amazon也有25万多的在线书籍(可以全文阅读的),并允许用户在其各个页面进行评论和交互。因此,Amazon跻身为全球最大的在线社区之一。


(不知你有注意Amazon的Logo上的箭头么?
有2层意思:1. 从A到Z是指其物品繁多;2. 笑脸。)

上述这些数据和Amazon每年的数百万巨额销售量,再加上Amazon合伙人的巨额销售量,造就了一个超大数据库。Amazon最大的2个数据库的数据量加起来有42TB,这还只是开始。如果Amazon公开其所有的数据库数量和每个数据库的数据量,这就不仅是42TB了。

尽管如此,我们暂且就算它42TB吧。42TB数据,如果换算成论坛帖子的话,应该是37万亿个帖子。

编者注:我猜想,这里所说的帖子,应该是主题帖和回帖的统称,不是特指主题帖。另外,Amazon卖出的第一本书是道格拉斯·霍夫斯塔特的《Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought》。

Amazon数据库概括:

  • 1. 5900万活跃用户;
  • 2. 数据量超过42TB。

7. YouTube

在经过这些年的积累发展,YouTube已经成为全球最大的视频库(视频网站)。如今,YouTube上每日视频播放次数高达1亿次,60%的视频是在线观看的。

2006年8月,《华尔街日报》称YouTube的视频总量已有45TB。相对互联网上数据量来说,这个数字听起来不是很高,但自从这个数字公布以来,YouTube正经历了一段大幅增长时期,(每天有65000段视频上传至YouTube,)所以在过去五个月中,YouTube的数据库大小很可能已经翻倍了。

因为YouTube上的每段视频的大小不一,所以要估计YouTube的数据库大小并非易事。不过,也可以大胆来预测一下:

  • 每天上传6500段视频,故每个月共有 65000 * 30 = 1,950,000段视频;
  • 假设每段视频大小为1MB,每月将有 1.95TB;
  • 假设每段视频大小为10MB,每月将有19.5TB。

所以,YouTube下个月将增加近20TB数据。
(编者注:YouTube上的第一段视频是Youtube的联合创始人Jawed Karim上传的,视频名称《Me at the zoo》。)

YouTube数据库概括:

  • 1. 每日的视频播放量为1亿次;
  • 2. 每日新增65000段视频;
  • 3. 60%的视频是在线观看的;
  • 4. 视频总量大小至少是45TB。

6. ChoicePoint

设想一下:在一本10亿页的电话本上找一个电话号码。这是一项什么的工作。当你有求于ChoicePoint的时候,ChoicePoint的员工就得干这活。如果把ChoicePoint的数据库资料全部打印出来,在不这些纸张连起来,其长度足以在地月之间往返77回。

ChoicePoint是一家信息服务机构,你可以通过它查询美国的人口数量、地址和电话号码、驾驶记录和犯罪记录等。在大多数情况下,Choicepoint数据库中的数据是只卖给出价最高的买主,包括美国政府。

ChoicePoint到底知道多少呢?2002年,借助ChoicePoint数据中的DNA和个人记录数量,政府成功破获了费城和柯林斯堡的一起系列强/奸案。2001年,世贸中心有很多遇难者已无法辨别身份,在提取遇难者的DNA后,通过比对ChoicePoint数据库中的遇难者家属的数据,才得以确认遇难者身份。

ChoicePoint数据库概括:

  • 1. 个人数据总量为250TB;
  • 2. 信息覆盖2.5亿人。

(编者注:在Wikipedia的ChoicePoint词条中,也可查到ChoicePoint的2005年数据记录。)

全球10大终极数据库 – 下篇

 

本文来源:伯乐在线

参考来源:Wikipedia 和 Topstrange
转载请注明原文来源和链接,否则视为侵权!

1 收藏 3 评论

关于作者:黄利民

伯乐在线联合发起人,关注 IT 和互联网。 个人主页 · 我的文章 · 97 ·  

相关文章

可能感兴趣的话题



直接登录
最新评论
  • 匿名   2010/10/04

    美国国会图书馆如果数字化了才20TB?是不是低估了啊?
    我现在手头的两个移动硬盘就有250GB+500GB,笔记本电脑是320GB,三个盘可用空间加起来不到50GB。考虑三个月内入一块1TB的硬盘。
    20TB也不算什么天文数字,我收藏的一部高清的动漫,两季,50话,720P的MKV每话400MB左右,一部普通动漫TV版就有20GB,我觉得以后是不是图书馆可以把资料数字化后保存到硬盘里,然后叫卖啊,呵呵

  • 关关   2010/10/04

    @aguo:
    呵呵,不能这样拿硬盘去和数据库比。你可以看我在下篇导读中的话。

  • ArchonXP   2010/10/05

    aguo;bt515 wrote: 美国国会图书馆如果数字化了才20TB?是不是低估了啊?
    ……20TB也不算什么天文数字,我收藏的一部高清的动漫,两季50话,720P的MKV每话400MB左右,一部普通动漫TV版就有20GB,我觉得以后是不是图书馆可以把资料数字化后保存到硬盘里然后叫卖啊,呵呵

    硬盘多大有什么说头啊,再说这不能这么比较……
    一部20G的TV版,50话平均每话大概25分钟吧,也就是20小时左右、一天内能看完的东西而已;20G换算成字节就是两百亿,两百亿个字母要看多久?20TB还要再乘1024呢
    图书馆叫卖资料……你觉得谷歌数字图书馆在中国还没被骂够么

    图书馆姑且算是只有文字信息吧,TB看似不够天文数字但这个数量级的文字足以包罗万象(试试在自己1TB硬盘里塞满txt或许可以理解了?)。非要说的话PB级的存储也出现了,整个互联网的流量更以EB计算

跳到底部
返回顶部