收藏文章 楼主
谷歌如何扫描完2500万本书的?证据显示,方法或许跟你想像得不太一样!
网友【chuang】 2020-07-07 01:59:41 分享在【时代发展的印记】版块    1    6

网友分享在meiguo.com上的图片

我们想要搜索某个网站、某条新闻,在搜索引擎里输入几个关键字就可以了,很方便。一些软件甚至可以通过拍照识别题目,然后给出解答。但是,在网上搜索某本书里的内容却很难,除非这本书已经被转成了电子版。

如果能把市面上的书都变成电子版,那么几千年前古人的思想也能上线,TA的言论和当代明星的发言一样可以通过网络被搜索到。古往今来的思想家一下子就在网络上“重生”,鲁迅曰没曰过什么搜一下都能知道,这是一件利在千秋的好事呀。

网友分享在meiguo.com上的图片

谷歌创始人也有这个心愿,联合创始人之一的谢尔盖·布林曾说:“人类几千年的知识,或许是最高质量的知识都在书本里。”

2002年,谷歌启动了雄心勃勃的书籍数字化项目 Project Ocean,想要创立一个全球最大的数字图书馆。谷歌的设想是,只需要一台能联网的电脑,你就可以搜索和阅读数千万本书籍,就和浏览网页一样方便。

网友分享在meiguo.com上的图片

2004年,谷歌开始正式扫描。密歇根大学、哈佛大学、斯坦福大学、牛津大学和纽约公共图书馆纷纷加入了进来。

2010年,谷歌宣布要扫尽全世界的1.2亿本书。根据2015年10月28日《纽约时报》的报道,谷歌已经扫描了超过2500万册书籍了。

为了扫描这些书,谷歌年支出4亿美金,设立了专门的扫描中心。在这些扫描中心里,设置着专门的扫描架子,上面配有上千美元的光学镜头,还有用来探测书页曲率的光学雷达LIDAR。

网友分享在meiguo.com上的图片
谷歌的7508978专利里采用的扫描技术。

为什么不用传统的扫描仪呢?

因为一些书比较老旧,也比较厚,不能暴力压在扫描仪上扫,更不能拆开,只能自然摊开。因为这个原因,扫描完的书页其实是弯曲的,为了自动把页面捋直,谷歌还自主研发了一套技术,并申请了专利7508978。

这个技术属于光学字符识别(Optical Character Recognition),可以理解为一种后期技术。谷歌的这个专利可以把弯折的书页自动铺平,并把图片里的文字转化为字符,让我们能够用关键词搜索到。随着这个项目技术的进步,一开始一本300页的书要40分钟扫完,现在已经可以做到一小时扫6千页了。

网友分享在meiguo.com上的图片

看起来谷歌的扫书技术非常高大上,是吗?

其实,谷歌扫书设备并不是完全的自动化,有一个步骤还是需要手动,那就是翻书。人类操作员翻一页书,踩一下踏板,扫描设备就扫一次。

本来这件事儿是谷歌的商业机密,但是后来被一位叫做 Andrew Norman Wilson 的艺术家曝光了。

Wilson 说,他曾在2007年在谷歌加州的 Mountain View 园区工作过,那些负责书本扫描的员工的工牌颜色和正牌员工不一样,也不能享受他们的福利,比如骑谷歌自行车,免费员工餐,还有公司的班车。后来,他还专门把谷歌图书里出现的戴着套子的手指书页截图收藏了起来,大家来看看——

网友分享在meiguo.com上的图片

当然,谷歌也不是没试过全自动扫描。从公开的专利记录来看,谷歌的一个叫做 Dany Qumsiyeh 的工程师就曾设计了一款价格很并夕夕的全自动扫描仪。

这个小哥造的自动扫描仪原型机只需要1500美金的材料费。使用的字符数字转化软件也都是开源的,意思就是不要钱。

它工作起来是这样的——

网友分享在meiguo.com上的图片

书被架在一个三角形的金属架上面来回运动。在经过这条缝的地方,下方传感器会扫描页面——

网友分享在meiguo.com上的图片

在书经过这个开口的地方,就会翻页。

网友分享在meiguo.com上的图片

这个翻页的技术看起来也很简单,就是用吸尘器一样的装置把一页纸吸住,然后让它自动滑到三角架的另一边去。

网友分享在meiguo.com上的图片

小哥用了50来本不同类型的书做了测试,其中60%的书都能用这款扫描仪扫。整体来看300页的书只要半小时就能扫好。

不过可惜的是,这款原型机在扫描时,45%的书出现了折页或撕破的情况。

虽然小哥的全自动扫描仪在2011年被谷歌申请了专利(US8711448B1),不过谷歌允许任何人无偿使用这种设计,看来是不太看好它的前景了。

网友分享在meiguo.com上的图片
谷歌允许无偿使用这种全自动扫描仪设计。图片来源:code.google.com/archive/p/linear-book-scanner/

难道说都2020年了,世界上还没有真正的全自动扫描仪吗?

有是有,但是贼贵,而且出错率未知。世界上第一台全自动扫描仪是瑞士4DigitalBooks 公司制造的DL (Digitizing Line) scanner,斯坦福大学在2001年入手了一台。

网友分享在meiguo.com上的图片
4DigitalBooks 公司制造的全自动扫描仪

Kirtas 公司也有全自动扫描仪,是靠一个类似人手的机械臂上的真空吸口翻页的。

网友分享在meiguo.com上的图片

网友分享在meiguo.com上的图片

但是,Kirtas 家的扫描仪可不便宜,价格最低的型号也要9千美金一台,家用是不太可能了。约翰霍普金斯大学在2008年购入了 Kirtas 家出的一台APT 2400。上海商学院的古籍部也曾入手一台用于无接触扫描古籍。

另外一家比较大的自动扫描仪公司出品的 Treventus ScanRobot 也是一页一页吸纸,边吸边扫描。这个机器刚上市的时候价格达到了10万美金。

网友分享在meiguo.com上的图片

2012年,东京大学的 Ishikawa Oku 实验室也研发了一款更为华丽的全自动扫描仪 BFS-Auto。

网友分享在meiguo.com上的图片

它每分钟最多只能扫300页,尚未达到量子波动速读的水平。

网友分享在meiguo.com上的图片

但是,它却可以实时追踪页面的3D形态,页面色彩和曲度可以自动数码矫正。

网友分享在meiguo.com上的图片

东京大学的这款全自动扫描仪翻书不是靠吸,是靠吹,机器吹,不是嘴巴吹。

网友分享在meiguo.com上的图片

根据该实验室的测量,这个翻书仪的成功率达到了100%。希望这种自动扫描仪能早日平民化,这样学生党就不需要扛着一手提箱的书上学了,复习查资料也会更方便。

网友分享在meiguo.com上的图片

当然,以上都是技术层面的探讨,数字化书内页还有很大的法律风险。

因为动静太大,2011年谷歌陷入了和出版商以及作者的官司,原告们不希望谷歌将自己的作品无偿地公开化,供人免费搜索和浏览。

虽然2013年谷歌赢了官司,但看起来这个图书项目陷入了死胡同,总之现在我们不清楚谷歌是否还在继续扫书,新扫的书是否能被大家看到。其他财力和技术没这么雄厚的搜索引擎就更不用提了。

诸子百家的肉身虽然已经上了天,他们的思想什么时候才能全体上“云”端呢?

- 请介绍一下你在谷歌的工作。

- 我就说3点:一,我做的是谷歌工程师也无法解决的事;二,和程序员一样,我用的是人类区别于其他动物的最重要的解剖结构;三,我的工作是保密的,谷歌不希望别人知道。

撰文:七君

出处:见配图水印

meiguo.com 发布人签名/座右铭我已经有美国绿卡了,只差美果绿卡啦!
大家都在看
楼主新近贴
回复/评论列表
默认   热门   正序   倒序
meiguo.com 创始人

emotion

6   2020-07-07 01:59:41  回复

回复/评论:谷歌如何扫描完2500万本书的?证据显示,方法或许跟你想像得不太一样!

暂无用户组 升级
退出
等级:0级
美果:
美过
精华推荐
  1. 中国的中产家庭,送孩子赴美留学就是鸡肋之举?
  2. 金星地壳似乎剧烈变化了,NASA即将启动新任务探索求证!
  3. AI半壁江山是中国人?黄仁勋“敲警钟”:美国须觉醒!
  4. 美国的州排名出炉,犹他州连续三年领先!
  5. 判刑15年!发币ICO的定性为诈骗
  6. 马斯克的丑闻?和多名女性有染,有上百个孩子?
  7. 美国对华为“HarmonyOS”采取行动,引发科技领域的新争议!
  8. 【读懂AI Agent】MetaGPT、Mila、斯坦福、耶鲁、谷歌的合作论文
  9. 中美通话的内容简短,但意味深长!
  10. 川普政府的关税政策或将加速中国崛起,助力中国成为全球的经济主导力量!
  11. 在美国生活半年,分享几句扎心实话!
  12. 中方意识到谈判时机已至?迅速派出“王牌代表应邀”和美国财长会面了
  13. 哪些关键技术决定了如今大模型格局?Google的首席科学家“万字演讲”回顾AI发展的十年
  14. 英国2岁男童竟然刷新了门萨俱乐部“最年轻男性”会员纪录
  15. 美国人在凌晨三点排队,不为苹果手机… 竟然是为中国毛绒玩具“拉布布”?
  16. 美国物价到底贵不贵?近距离窥视一下佛罗里达州的中产家庭的日常消费
  17. 盖茨列出了10项改变世界的技术名单
  18. 在量子世界“玩儿游戏”?物理学家展示了量子计算机的新前景
  19. 在美国,千万别做的这些事盘点!
  20. 中美各自取消91%关税!为防🇺🇸川普政府反悔,🇨🇳重申关键问题!
  21. 美国政府“管不着”加州?纽森州长说继续做中国生意!
  22. 美国驻华大使馆:“赴美生子”一律拒签
  23. 近半数中国小包裹的接收人是贫困美国百姓?
  24. 美国企业在强化回归办公室的工作要求
  25. 让人意外!股神【巴菲特】突然宣布退休
  26. 全球AI人才的争夺战白热化,顶尖研究员成为了科技巨头争夺焦点
  27. 在美国生活半年,分享一下可能让人失望的真话!
  28. 嘴唇经常干裂起皮,或许并非缺水!
  29. 中美贸易战的谈判再起,稀土贸易成为焦点
  30. 华人科学家再次遭遇系统性排查,75%留美学者“萌生去意”!
  31. 贸易战的结局已定?中美两国“各退一步”?
  32. “240小时免签”和“离境退税”叠加组合,让美国人感受到了中国人的聪明智慧!
  33. 出乎全世界意料,中美两国的“2025日内瓦谈判”太亲密了吧?
  34. “蜗居”纽约的中国穷人:男女同住,毫无私隐… 却坚持不肯回国
  35. 中美博弈2.0了?川普政府“百日执政”,撤回对华善意!
  36. 美国联邦调查局警示:“新型医疗保险”骗局泛滥

美国动态 美果搜索

Your IP: 216.73.216.54, 2025-06-01 19:13:34

Processed in 0.99067 second(s)

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
已有0次打赏
(6) 分享
分享
取消