Spark streaming + Kafka 流式数据处理,结果存储至MongoDB、Solr、Neo4j(自用)
KafkaStreaming.scala文件 import kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingCo...
Solr4:利用Filter实现两组关键词组合查询
本文参考:Lucene4.1:利用Filter实现两组关键词组合查询 1. 需求 根据客户名称,查询客户网络上面的负面信息。如客户名称为”盐城 盐城市“,并自定义负面关键词“贪污 受贿 被曝 曝光 小三 裸照”等,则是要求将包含这些负面关键词且包含客户名称的信息查询出来。注意事项:客户名称可定义多个...
Solr4.8.0源码分析(4)之Eclipse Solr调试环境搭建
Solr4.8.0源码分析(4)之Eclipse Solr调试环境搭建由于公司里的Solr调试都是用远程jpda进行的,但是家里只有一台电脑所以不能jpda进行调试,这是因为jpda的端口冲突。所以只能在Eclipse 搭建Solr的环境,折腾了一小时终于完成了。1. JDPA远程调试搭建换完成So...
Solr使用solr4J操作索引库
Solrj是Solr搜索服务器的一个比较基础的客户端工具,可以非常方便地与Solr搜索服务器进行交互。最基本的功能就是管理Solr索引,包括添加、更新、删除和查询等。对于一些比较基础的应用,用Solj基本够用,而且你可以非常容易地通过使用Solrj的API实现与Solr搜索服务器进行交互,实现对So...
Solr 5.x集成中文分词word,mmseg4j
使用标准分词器,如图:使用word分词器下载word-1.3.jar,注意solr的版本和word分词的版本将文件word-1.3.jar拷贝至文件夹C:\workspace\Tomcat7.0\webapps\solr\WEB-INF\lib\下修改如下文件C:\workspace\solr_ho...
后端技术杂谈4:Elasticsearch与solr入门实践
阮一峰:全文搜索引擎 Elasticsearch 入门教程作者:阮一峰本系列文章将整理到我在GitHub上的《Java面试指南》仓库,更多精彩内容请到我的仓库里查看https://github.com/h2pl/Java-Tutorial喜欢的话麻烦点下Star哈本系列文章将整理于我的个人博客:ww...
Flume + Solr + log4j搭建web日志采集系统
本文转载自:Flume + Solr + log4j搭建web日志采集系统 前言 很多web应用会选择ELK来做日志采集系统,这里选用Flume,一方面是因为熟悉整个Hadoop框架,另一方面,Flume也有很多的优点。 关于Apache Hadoop Ecosystem 请点击这里。 Cloude...
solr4.7.2开发实践 ——拼音检索【需要用到的包pinyin4j-2.5.0.jar和pinyinAnalyzer.jar;只需要配置schema.xml文件、solrj的java代码测试】
文章来源:http://my.oschina.net/MrMichael/blog/261231 拼音检索的大致思路是这样的: ①将需要使用拼音检索的字段汇集到一个拼音分词字段里(我的拼音分词字段使用pinyin4j+NGram做的); ...
Solr 4.x定时、实时增量索引 - 修改、删除和新增索引
开始之前,可以参考上篇博文增量索引-数据导入并索引: http://josh-persistence.iteye.com/admin/blogs/2017059 Solr增量索引配置 一、开始增量索引前的准备工作。 1、认识data-config.xml中相关属性 ...
Solr4:数据导入(dataimport)时,不符合Solr日期类型要求的字段的处理
背景: 要求将一个SQL Server2012版本中的数据库导入到Solr中。数据表中有一字段用来存储birthday日期字段,为nvarchar类型,长度为8,格式为:yyyyMMdd。 导入Solr数据结构字段名为birthday,字段类型为date。 Solr的date是不认yyyyMMdd格...
【solr专题之一】Solr快速入门 分类: H4_SOLR/LUCENCE 2014-07-02 14:59 2403人阅读 评论(0) 收藏
一、Solr学习相关资料1、官方材料(1)快速入门:http://lucene.apache.org/solr/4_9_0/tutorial.html,以自带的example项目快速介绍发Solr的基础使用。(2)API:http://lucene.apache.org/solr/4_9_0/ind...
【solr基础教程之九】客户端 分类: H4_SOLR/LUCENCE 2014-07-30 15:28 904人阅读 评论(0) 收藏
一、Java Script1、由于Solr本身可以返回Json格式的结果,而JavaScript对于处理Json数据具有天然的优势,因此使用JavaScript实现Solr客户端是一个很好的选择。2、在之前,主要使用SolJS作为solr的客户端,目前主要使用ajax-solr,信息请见:https...
【转载】 Searching过程粗略梳理 分类: H4_SOLR/LUCENCE 2014-07-25 22:59 316人阅读 评论(0) 收藏
转载自:http://www.cnblogs.com/huangfox/archive/2012/02/09/2344686.htmlsolr-searching过程分析(一)——searching过程粗略梳理下午看了一会solr的启动过程,往细的看相当繁琐。换个头绪先看看solr的searchin...
solr6.4.1搜索引擎(4)tomcat重启后数据加载缓慢或丢失
解决tomcat重启后数据加载缓慢或丢失我们在首次全量导入和第二次增量导入数据都成功后,在研究solr过程中,会反复重启tomcat。我们会发现在重启tomcat后,core的data目录下明明已经有之前solr加载的已经写到磁盘的数据索引文件,可是tomcat在重启过程中,就是加载很慢,而且比初始...