多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《解密搜索引起技术实战Lucene&Java精华版(第三版）》_1
《解密搜索引起技术实战Lucene&Java精华版(第三版）》_2
《解密搜索引起技术实战Lucene&Java精华版(第三版）》_3
内容简介：
内容简介
本书是猎兔搜索开发团队的软件研发和教学实践的经验汇总。本书总结搜索引相关理论与实际解决
方案,井给出了Java实现,其中利用了流行的开源项目 Lucene和solr,而且还包括原创的实现
本书主要包括总体介绍部分、爬虫部分、自然语言处理部分、全文检索部分以及相关案例分析。爬虫
部分介绍了网 页历方法和如何实現增量抓取,并介绍了从网 页等各种格式的文档中提取主要内容的方
法。自然语言处理部分从统计机器学习的原理出发,包括了中文分词与词性标注的理论与实现及在搜索引
中的应用等细节,同时对文档排重、文本分类、自动聚类、句法分析树、拼写检查等自然语言处理领域
经典问題进行了深入浅出的介绍,并总结了实现方法。在全文检素部分,结合 Lucene介绍了搜索引摹
原理与进展。用简单的例子介绍了 Lucene的最新应用方法,包括完整的搜索实现过程:从完成索引到
搜索用户界面的实现。此外还进一步介绍了实现准实时搜索的方法,展示了Solr的用法以及实现分布式搜
索服务集群的方法,最后介绍了在地理信息系统领域和户外活动搜索领域的应用
有,侵权必究
图书在版编目(CIP)数据
解密搜索引擎技术实战: Lucene&Java精华版/罗刚编著.一3版.一北京:电子工业出版社,20164
ISBN978-7-121-28111
1.①解…I1.①罗…I.①互联网络一情报检索IV.①G354.4
guo版本图书馆CIP数据核字(2016)第022316号
责任编辑:董英
印刷:北京京科印刷有限公司
装订:三河市早庄路通装订厂
出版发行:电子工业出版社
北京市海淀区万寿路173信箱郎编:1000
开本:787X10921/16印张:32字数:678千字
版次:2011年5月第
2014年1月第2版
2016年4月第3版
印次:2016年4月第1次印刷
印数:3000册定价:79.00元(含DVD光盘1张)
凡所购买电子工业出版社图书有缺损问题,请向胸买书店调换。若书店售缺,请与本社发行部联系
联系及邮购电话 010)8825488
质量投诉请发邮件至zlts(@phei.com.cn,盗版侵权举报请发郇件至dbq(@phei.com.cn
服务热线010)88258888
前言
多
搜索相关的技术已经得到了初步的解决。在guo内产业界也已经有很多公司掌握了
基本的搜索开发技术并拥有专业的搜索技术开发人员。但是越来越多有价值的资讯对
现有技术的处理能力仍然是一个挑战
为了方便实践,需要有良好实现的代码作为参考,为了节约篇幅,书中的代码只是核
心片段。本书相关代码的完整版本在附带光盘中可以找到
作者罗刚在参加编写本书之前,运独立写过(自己动手写搜索引学)一书,与王振
东共同编写过《自己动手写网络爬虫》一书。经过10多年的技术积累以及猎免搜案技
术团队每年若干的研发投入,相信猎兔已经能够比以前做得更好。但越是深入接触客
户的需求,越感觉到技术本身仍需要更多进步,才能满足实用的需要。写这本书也是
考虑到,也许还需要更多的前进,才能使技术产生质的飞跃
本书分为相关技术总体介绍部分、爬虫部分、全文检索部分、自然语言处理部分以及
相关案例分析部分
爬虫部分从基本的爬虫原理开始讲解,通过介绍优先级队列、宽度优先搜素等内容引
领读者入门:然后根据当前风起云涌的云计算热潮,重点讲述了云计算的基本原理
及其在搜索中的应用,以及Wweb图分析、信息抽取等内容;为了能够让读者更深入
地了解爬虫,本书还介绍了有关爬虫的数据挖掘的内容
检索部分重点介绍了搜索的基本原理与使用。主要介绍了开源软件实现 Lucene
以及solr。不仅介绍了如何使用这些开源软件,而且还介绍了其中的一些实现原理
Lucene更高版本的改进指出了当前需要解决的问题,欢迎读者在了解基本原理后进
行更深入的研究
自然语言处理部分向来是笔者关注的重点,因为系统的智能化依于此,开发中文搜
索离不开中文分词。开发任何自然语言的搜索也离不开对相应语言的处理。对自然
语言的处理其实也可以用到对Java或C语言这样的机器语言的处理方法,只不过处
理自然语言更难一点
虽然本书的每个章节都已经用代码强化了实现细节,但是对于初学者来说,也许需要
更多的案例来理解相关技术在真实场景中的用法。案例分析部分介绍了在地理信息
系统领域和户外活动搜索领域的应用。股票应用案例待整理完整后再加入
本书适合需要具体实现搜素引学的程序员使用,对于信息检索等相关研究人员也有
定的参考价值,同时猎兔搜索技术团队也已经开发出以本书为基础的专门培训课程
和商业软件
高级
开发人员也可以参加猎兔的培训或者创业团队。职场人员经常面临各种压力。选
择猎兔培训,不是几个月学完以后就不再见面,而是给大家提供持久的支持。当以
后需要再次找工作的时候,或者需要创业时,依然可以在这里找到支持。很多商业
运营的大项目失败的代价太高,所以他们往往只招有多年开发经验的工程师。但是
为了成长就不要怕犯错误,在培训时可以等学员犯了错误之后再告知正确答案。有
经验的工程师也可以在这里学习到完整的技术体系。
感谢开源软件开发人员和家人、关心负的老师和朋友、创业快年以及信负软作
的客户多年来的支持。读者可以通过QQ(270954928)联系作者,或者加.Q.Q.群.
(166015123)讨论相关技术问题。参与本书编写的有罗刚、张子宪、张继红、罗庭亮
高丹丹、任通通、孙宽、何淑琴、徐友峰、张进威、Liu宇、石田盈,在此一并表示感
谢。让我们通过合作共赢为技术发展创造更好的生态环境
编著者
目录
第1章搜索引擎总体结构
4.2布降过滤器
1.1搜索引擎基本模块
2.5并行抓取……
1.2开发环境
2.5.1多线程爬虫
1.3搜索引工作原理
2.5.2垂直搜索的多线程爬虫……48
3.1网络爬
2.5,3异步1O0
1.3.2全文索引结构与 Lucene实现…4
1.3.3搜索用户界面
2.7抓取FTP
1.3.4计算框架
1.3.5文本挖据
2.9图像的OCR识别
1.4本章小结
2.9.1图像二值化
2.9.2切分图像
第2章网络爬虫的原理与应用
9.3SVM分类
2.1爬虫的基本原理
2.10Wcb结构挖掘
2.2爬虫架构
2.2.1基本架构
0.2 Pagerank算法
2.2.2分布式爬虫架构
2.10.3HIs算法
垂直爬虫架构
2.10.4主題相关的 Pagerank
2.3抓取网 页
2.11部署爬虫
3.1下载网 页的基本方法
2.12本章小结
2.3.2网 页更新
2.3.3抓取限制应对方法
、第3重素引内盐
3.4URL地址提取
3.1从HTML文件中提取文本……86
3.1.1识别网 页的编码
2.3.5抓取 Javascript i动态页面“……“28
2.3.6抓取即时信息
3.1.2网 页编码转换为字符串编码…-89
3.1.3使用正则表达式提取数据“-89
2.3.7抓取暗网
2.3.8信息过滤
3.1.4结构化信息提取……91
3.9最好优先遍历
3.1.5网 页的DOM结构
2.4存储URL地址
1.6使用 NEKOHTML提取信息…-95
2.4.1 Berkeleydb
904
3.1.7使用 Soup提取信息
3.1.8网 页去噪
4.11平滑算法
3.1.9网 页结构相似度计算
4.12本章小结
3.1.10提取标题
第5章让搜索引擎理解自然语言
3.1.11提取ri期
3.2从非HTML文件中提取文本…13
停用词表
3.2.1提取标题的一般方法
5.2句法分析树
3.2.2PDF文件
5.3相似度计算
2.3Word文件
5.4文档排重
3.2.4Rtf文件…
5.4.1语义指纹
3.2.5Excl文件
5.4.2 Simhash
3.26 Powerpoint文件
5.4.3分布式文档排
3.3流媒体内容提取…
5.5中文关键词提取
3.3.1音流内容提取
5.5.1关键词提取的基本方法……23
3.3.2视流内容提取
5.5.2HTS算法应用于
3.4存储提取内容…
关键词提取
3.5本章小结…
5.53从网 页中提取关键词
5.6相关搜索词
第4章中文分词的原理与实现…144
228
5.6.1挖据相关搜索词
4.1 Lucene中的中文分词
145
5.62使用多线程计算
4.1.1 Lucene切分原理……
相关搜索词
4.1.2 Lucene中的 安alyzer
5.7信息提取
4.1.3自己写 安alyzer
书6
5.8拼写检查与建议
amm
4.1.4 Lietu中文分词
5.8.1模糊匹配问题
4.2查找词典算法
011
5.8.2英文拼写检查
4.2.1标准Trie树
8.3中文拼写检查
.22三叉Trie树
5.9自动摘要
4.3中文分词的原
5.9.1自动摘要技术
4.4中文分词流程与结构
9.2自动摘要的设计
444
形成切分词图
5.9.3
4.6概率语言模型的分词方法…169
5.10文本分类
4.7N元分词方法
4.8新词发现…
sgy
中心向量法
4.9未登.录词识别
5.10.3朴素贝叶斯
4.10词性标注
5.10.4支持向量机
4.10.1隐MA尔可夫模型
5.10.5规则方法
4.10.2基于转换的错误
5.10.6网 页分类
m
学习方法
5.11拼音转换
#############################################
|
|
