通用网络爬虫的局限性?


通用网络爬虫的局限性?

正确答案:不同领域、不同背景的用户具有不同的检索目的和需求,而通用网络爬虫所返回的结果可能含有大量用户并不需要的网页。通用网络爬虫的目标是获得尽可能大的网络覆盖率,从而造成了有限的网络爬虫服务器资源与无限的网络数据资源之间的冲突。图片、数据库、音频、视频多媒体等不同类型的非结构化数据大量出现,通用网络爬虫对这些信息含量密集数据的获取出现了困难。通用网络爬虫主要提供基于关键字的检索,难以支持基于语义信息的查询。


Tag:爬虫 网络 数据 时间:2024-03-21 12:22:48