构建搜索引擎教程

有赞搜索引擎实践洪斌背景-电商对信息检索的需求大数据大规模索引创建大规模搜索校验时效数据可靠传输实时索引相关性准确率召回率去重权重性反作弊背景-电商对信息检索的需求大数据大规模索引创建大规模搜索校验时效性数据可靠传输实时索引相关性准确率召回率去重权重性反作弊背景-电商对信息检索的需求大数据大规模索引创建大规模搜索校验时效性数据可靠传输实时索引相关性准确性权重性去重反作弊有赞搜索总体架构有赞搜索总体架构有赞搜索总体架构有赞搜索总体架构有赞搜索总体架构索引构建全量构建–大–全增量构建–快索引构建全量构建–大–全增量构建–快索引构建全量构建–大,数据量巨大如何在短时间构建–全,数据不小心丢了如何弥补增量构建–快索引构建全量构建–大–全增量构建–快索引构建-全量问题–ES只有restful索引接口–大数据的存储介质一般是HDFS解决方案–方案一:Hadoop构建lucence每个node的索引分发到每个esnode上–方案二:讲es集群映射成Hive外部表.
通过并行Restful技术进行并行更新–两种方案都可以解决全量更新的单点问题索引构建-全量Hadoop构建优势–离线计算环境–数据源无关解决方案–方案一:Hadoop构建lucence每个node的索引分发到每个esnode上–方案二:讲es集群映射成Hive外部表.
通过并行Restful技术进行并行更新–两种方案都可以解决全量更新的单点问题索引构建-全量Hadoop构建优势–离线计算环境–数据源无关解决方案–方案一:Hadoop构建lucence每个node的索引分发到每个esnode上–方案二:讲es集群映射成Hive外部表.
通过并行Restful技术进行并行更新–两种方案都可以解决全量更新的单点问题索引构建-全量索引构建-全量Hadoop构建优势–离线计算环境–数据源无关解决方案–方案一:Hadoop构建lucence每个node的索引分发到每个esnode上–方案二:讲es集群映射成Hive外部表.
通过并行Restful技术进行并行更新(es-hadoop)–两种方案都可以解决全量更新的单点问题索引构建-全量Hadoop构建优势–离线计算环境–数据源无关解决方案–方案一:Hadoop构建lucence每个node的索引分发到每个esnode上–方案二:讲es集群映射成Hive外部表.
通过并行Restful技术进行并行更新(es-hadoop)–两种方案都可以解决全量更新的单点问题索引构建-增量更新索引构建-增量更新索引构建-增量更新索引构建-增量更新高级搜索高级搜索高级搜索高级搜索高级搜索业务相关区业务无关区高级搜索反向代理提供丰富的相关性库管理不同的搜索业务屏蔽内部复杂性评分体系静态分*动态分静态分体现商品的重要性.
动态分体现商品和query的相关性评分体系静态分*动态分静态分体现商品的重要性.
动态分体现商品和query的相关性评分系统-静态分目标–稳定性–连续性–区分度归一化方法min-max归一化log归一化log-zscore归一化几个例子去重-商品去重商品去重转化为计算两个向量的相似度著名的AllPairSimilarity问题Spark提供技术支持Matrix.
columnSimilarities去重-店铺去重著名的"分桶搜索问题"Query分析性能优化应用级队列自动降级善用filteredquery其他–关闭分片自动均衡–尽可能延长refresh–尽可能使用bulk–善用rolling技术–物理分离展望搜索平台化QA&3Q