SpringBoot?熱搜與不雅文字過(guò)濾的實(shí)現(xiàn)
更新時(shí)間：2022年07月13日 09:37:47 作者：魅Lemon
本文主要介紹了SpringBoot?熱搜與不雅文字過(guò)濾的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
一、前言
這里主要講springboot整合redis的個(gè)人搜索記錄與熱搜、敏感詞過(guò)濾與替換兩個(gè)功能，下面進(jìn)行環(huán)境準(zhǔn)備，引入相關(guān)maven依賴
<dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-test</artifactId> ? ? <scope>test</scope> </dependency> <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-redis --> <dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-data-redis</artifactId> ? ? <version>2.7.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 --> <dependency> ? ? <groupId>org.apache.commons</groupId> ? ? <artifactId>commons-lang3</artifactId> ? ? <version>3.12.0</version> </dependency>
application.yml配置為
spring:
redis:
#數(shù)據(jù)庫(kù)索引
database: 0
host: 192.168.31.28
port: 6379
password: 123456
lettuce:
pool:
#最大連接數(shù)
max-active: 8
#最大阻塞等待時(shí)間(負(fù)數(shù)表示沒(méi)限制)
max-wait: -1
#最大空閑
max-idle: 8
#最小空閑
min-idle: 0
#連接超時(shí)時(shí)間
timeout: 10000最后敏感詞文本文件放在resources/static目錄下，取名為word.txt，敏感詞文本網(wǎng)上很多，這里就隨便貼一個(gè)：github敏感詞
二、不雅文字過(guò)濾
1、實(shí)現(xiàn)原理
簡(jiǎn)單原理如下圖所示，使用了DFA算法，創(chuàng)建結(jié)點(diǎn)類，里面包含是否是敏感詞結(jié)束符，以及一個(gè)HashMap，哈希里key值存儲(chǔ)的是敏感詞的一個(gè)詞，value指向下一個(gè)結(jié)點(diǎn)（即指向下一個(gè)詞），一個(gè)哈希表中可以存放多個(gè)值，比如賭博、賭黃這兩個(gè)都是敏感詞。
2、實(shí)現(xiàn)方法
2.1 敏感詞庫(kù)初始化
敏感詞庫(kù)的初始化，這里主要工作是讀取敏感詞文件，在內(nèi)存中構(gòu)建好敏感詞的Map節(jié)點(diǎn)
/**
?* @author shawn
?* @version 1.0
?* @ClassName SensitiveWordInit
?* Description:屏蔽一些無(wú)關(guān)緊要的警告。使開(kāi)發(fā)者能看到一些他們真正關(guān)心的警告。從而提高開(kāi)發(fā)者的效率
?* 屏蔽敏感詞初始化
?* @date 2022/6/22 18:20
?*/
@Configuration
@SuppressWarnings({ "rawtypes", "unchecked" })
public class SensitiveWordInit {
? ? // 字符編碼
? ? private String ENCODING = "UTF-8";
? ? // 初始化敏感字庫(kù)
? ? public Map initKeyWord() throws IOException {
? ? ? ? // 讀取敏感詞庫(kù) ,存入Set中
? ? ? ? Set<String> wordSet = readSensitiveWordFile();
? ? ? ? // 將敏感詞庫(kù)加入到HashMap中//確定有窮自動(dòng)機(jī)DFA
? ? ? ? return addSensitiveWordToHashMap(wordSet);
? ? }
? ? // 讀取敏感詞庫(kù) ,存入HashMap中
? ? private Set<String> readSensitiveWordFile() throws IOException {
? ? ? ? Set<String> wordSet = null;
? ? ? ? ClassPathResource classPathResource = new ClassPathResource("static/word.txt");
? ? ? ? InputStream inputStream = classPathResource.getInputStream();
? ? ? ? //敏感詞庫(kù)
? ? ? ? try {
? ? ? ? ? ? // 讀取文件輸入流
? ? ? ? ? ? InputStreamReader read = new InputStreamReader(inputStream, ENCODING);
? ? ? ? ? ? // 文件是否是文件 和 是否存在
? ? ? ? ? ? wordSet = new HashSet<String>();
? ? ? ? ? ? // StringBuffer sb = new StringBuffer();
? ? ? ? ? ? // BufferedReader是包裝類，先把字符讀到緩存里，到緩存滿了，再讀入內(nèi)存，提高了讀的效率。
? ? ? ? ? ? BufferedReader br = new BufferedReader(read);
? ? ? ? ? ? String txt = null;
? ? ? ? ? ? // 讀取文件，將文件內(nèi)容放入到set中
? ? ? ? ? ? while ((txt = br.readLine()) != null) {
? ? ? ? ? ? ? ? wordSet.add(txt);
? ? ? ? ? ? }
? ? ? ? ? ? br.close();
? ? ? ? ? ? // 關(guān)閉文件流
? ? ? ? ? ? read.close();
? ? ? ? } catch (Exception e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? ? ? return wordSet;
? ? }
? ? // 將HashSet中的敏感詞,存入HashMap中
? ? private Map addSensitiveWordToHashMap(Set<String> wordSet) {
? ? ? ? // 初始化敏感詞容器，減少擴(kuò)容操作
? ? ? ? Map wordMap = new HashMap(wordSet.size());
? ? ? ? for (String word : wordSet) {
? ? ? ? ? ? Map nowMap = wordMap;
? ? ? ? ? ? for (int i = 0; i < word.length(); i++) {
? ? ? ? ? ? ? ? // 轉(zhuǎn)換成char型
? ? ? ? ? ? ? ? char keyChar = word.charAt(i);
? ? ? ? ? ? ? ? // 獲取
? ? ? ? ? ? ? ? Object tempMap = nowMap.get(keyChar);
? ? ? ? ? ? ? ? // 如果存在該key，直接賦值
? ? ? ? ? ? ? ? if (tempMap != null) {
? ? ? ? ? ? ? ? ? ? nowMap = (Map) tempMap;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? // 不存在則，則構(gòu)建一個(gè)map，同時(shí)將isEnd設(shè)置為0，因?yàn)樗皇亲詈笠粋€(gè)
? ? ? ? ? ? ? ? else {
? ? ? ? ? ? ? ? ? ? // 設(shè)置標(biāo)志位
? ? ? ? ? ? ? ? ? ? Map<String, String> newMap = new HashMap<String, String>();
? ? ? ? ? ? ? ? ? ? newMap.put("isEnd", "0");
? ? ? ? ? ? ? ? ? ? // 添加到集合
? ? ? ? ? ? ? ? ? ? nowMap.put(keyChar, newMap);
? ? ? ? ? ? ? ? ? ? nowMap = newMap;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? // 最后一個(gè)
? ? ? ? ? ? ? ? if (i == word.length() - 1) {
? ? ? ? ? ? ? ? ? ? nowMap.put("isEnd", "1");
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return wordMap;
? ? }
}2.2 敏感詞過(guò)濾器
敏感詞過(guò)濾器，主要功能是初始化敏感詞庫(kù)，敏感詞的過(guò)濾以及替換
/**
?* @author shawn
?* @version 1.0
?* @ClassName SensitiveFilter
?* Description:敏感詞過(guò)濾器：利用DFA算法 ?進(jìn)行敏感詞過(guò)濾
?* @date 2022/6/22 18:19
?*/
@Component
public class SensitiveFilter {
? ? /**
? ? ?* 敏感詞過(guò)濾器：利用DFA算法 ?進(jìn)行敏感詞過(guò)濾
? ? */
? ? private Map sensitiveWordMap = null;
? ? /**
? ? ?* 最小匹配規(guī)則，如：敏感詞庫(kù)["中國(guó)","中國(guó)人"]，語(yǔ)句："我是中國(guó)人"，匹配結(jié)果：我是[中國(guó)]人
? ? */
? ? public static int minMatchType = 1;
? ? /**
? ? ?* 最大匹配規(guī)則，如：敏感詞庫(kù)["中國(guó)","中國(guó)人"]，語(yǔ)句："我是中國(guó)人"，匹配結(jié)果：我是[中國(guó)人]
? ? */
? ? public static int maxMatchType = 2;
? ? /**
? ? ?* 敏感詞替換詞
? ? ?*/
? ? public static String placeHolder = "**";
? ? // 單例
? ? private static SensitiveFilter instance = null;
? ? /**
? ? ?* 構(gòu)造函數(shù)，初始化敏感詞庫(kù)
? ? */
? ? private SensitiveFilter() throws IOException {
? ? ? ? sensitiveWordMap = new SensitiveWordInit().initKeyWord();
? ? }
? ? /**
? ? ?* 獲取單例
? ? */
? ? public static SensitiveFilter getInstance() throws IOException {
? ? ? ? if (null == instance) {
? ? ? ? ? ? instance = new SensitiveFilter();
? ? ? ? }
? ? ? ? return instance;
? ? }
? ? /**
? ? ?* 獲取文字中的敏感詞
? ? */
? ? public Set<String> getSensitiveWord(String txt, int matchType) {
? ? ? ? Set<String> sensitiveWordList = new HashSet<>();
? ? ? ? for (int i = 0; i < txt.length(); i++) {
? ? ? ? ? ? // 判斷是否包含敏感字符
? ? ? ? ? ? int length = CheckSensitiveWord(txt, i, matchType);
? ? ? ? ? ? // 存在,加入list中
? ? ? ? ? ? if (length > 0) {
? ? ? ? ? ? ? ? sensitiveWordList.add(txt.substring(i, i + length));
? ? ? ? ? ? ? ? // 減1的原因，是因?yàn)閒or會(huì)自增
? ? ? ? ? ? ? ? i = i + length - 1;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return sensitiveWordList;
? ? }
? ? /**
? ? ?* 替換敏感字字符,使用了默認(rèn)的替換符合，默認(rèn)最小匹配規(guī)則
? ? ?*/
? ? public String replaceSensitiveWord(String txt) {
? ? ? ? return replaceSensitiveWord(txt, minMatchType ,placeHolder);
? ? }
? ? /**
? ? ?* 替換敏感字字符,使用了默認(rèn)的替換符合
? ? ?*/
? ? public String replaceSensitiveWord(String txt, int matchType) {
? ? ? ? return replaceSensitiveWord(txt, matchType,placeHolder);
? ? }
? ? /**
? ? ?* 替換敏感字字符
? ? */
? ? public String replaceSensitiveWord(String txt, int matchType,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?String replaceChar) {
? ? ? ? String resultTxt = txt;
? ? ? ? // 獲取所有的敏感詞
? ? ? ? Set<String> set = getSensitiveWord(txt, matchType);
? ? ? ? Iterator<String> iterator = set.iterator();
? ? ? ? String word = null;
? ? ? ? String replaceString = null;
? ? ? ? while (iterator.hasNext()) {
? ? ? ? ? ? word = iterator.next();
? ? ? ? ? ? replaceString = getReplaceChars(replaceChar, word.length());
? ? ? ? ? ? resultTxt = resultTxt.replaceAll(word, replaceString);
? ? ? ? }
? ? ? ? return resultTxt;
? ? }
? ? /**
? ? ?* 獲取替換字符串
? ? ?*/
? ? private String getReplaceChars(String replaceChar, int length) {
? ? ? ? StringBuilder resultReplace = new StringBuilder(replaceChar);
? ? ? ? for (int i = 1; i < length; i++) {
? ? ? ? ? ? resultReplace.append(replaceChar);
? ? ? ? }
? ? ? ? return resultReplace.toString();
? ? }
? ? /**
? ? ?* 檢查文字中是否包含敏感字符，檢查規(guī)則如下：<br>
? ? ?* 如果存在，則返回敏感詞字符的長(zhǎng)度，不存在返回0
? ? ?* 核心
? ? ?*/
? ? public int CheckSensitiveWord(String txt, int beginIndex, int matchType) {
? ? ? ? // 敏感詞結(jié)束標(biāo)識(shí)位：用于敏感詞只有1的情況結(jié)束
? ? ? ? boolean flag = false;
? ? ? ? // 匹配標(biāo)識(shí)數(shù)默認(rèn)為0
? ? ? ? int matchFlag = 0;
? ? ? ? Map nowMap = sensitiveWordMap;
? ? ? ? for (int i = beginIndex; i < txt.length(); i++) {
? ? ? ? ? ? char word = txt.charAt(i);
? ? ? ? ? ? // 獲取指定key
? ? ? ? ? ? nowMap = (Map) nowMap.get(word);
? ? ? ? ? ? // 存在，則判斷是否為最后一個(gè)
? ? ? ? ? ? if (nowMap != null) {
? ? ? ? ? ? ? ? // 找到相應(yīng)key，匹配標(biāo)識(shí)+1
? ? ? ? ? ? ? ? matchFlag++;
? ? ? ? ? ? ? ? // 如果為最后一個(gè)匹配規(guī)則,結(jié)束循環(huán)，返回匹配標(biāo)識(shí)數(shù)
? ? ? ? ? ? ? ? if ("1".equals(nowMap.get("isEnd"))) {
? ? ? ? ? ? ? ? ? ? // 結(jié)束標(biāo)志位為true
? ? ? ? ? ? ? ? ? ? flag = true;
? ? ? ? ? ? ? ? ? ? // 最小規(guī)則，直接返回,最大規(guī)則還需繼續(xù)查找
? ? ? ? ? ? ? ? ? ? if (SensitiveFilter.minMatchType == matchType) {
? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 不存在，直接返回
? ? ? ? ? ? else {
? ? ? ? ? ? ? ? break;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? // 匹配長(zhǎng)度如果匹配上了最小匹配長(zhǎng)度或者最大匹配長(zhǎng)度
? ? ? ? if (SensitiveFilter.maxMatchType == matchType || SensitiveFilter.minMatchType == matchType){
? ? ? ? ? ? //長(zhǎng)度必須大于等于1，為詞，或者敏感詞庫(kù)還沒(méi)有結(jié)束(匹配了一半)，flag為false
? ? ? ? ? ? if(matchFlag < 2 || !flag){
? ? ? ? ? ? ? ? matchFlag = 0;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return matchFlag;
? ? }
}2.3 測(cè)試使用
最后進(jìn)行測(cè)試，這里有兩種方式可以獲取，因?yàn)槿萜鞒跏蓟瘯r(shí)會(huì)默認(rèn)執(zhí)行無(wú)參構(gòu)造
@RestController
public class SensitiveController {
? ? private static Logger logger = LoggerFactory.getLogger(SensitiveController.class);
? ? @Autowired
? ? SensitiveFilter sensitiveFilter;
? ? @GetMapping("/sensitive")
? ? public String sensitive(String keyword){
? ? ? ? String s = sensitiveFilter.replaceSensitiveWord(keyword);
? ? ? ? return s;
? ? }
? ? // 兩種方式都可以
? ? public static void main(String[] args) throws IOException {
? ? ? ? String searchKey = "傻逼h";
? ? ? ? String placeholder = "***";
? ? ? ? //非法敏感詞匯判斷
? ? ? ? SensitiveFilter filter = SensitiveFilter.getInstance();
? ? ? ? String s = filter.replaceSensitiveWord(searchKey, 1, placeholder);
? ? ? ? System.out.println(s);
? ? ? ? int n = filter.CheckSensitiveWord(searchKey,0,2);
? ? ? ? //存在非法字符
? ? ? ? if(n > 0){
? ? ? ? ? ? logger.info("這個(gè)人輸入了非法字符--> {},不知道他到底要查什么~ userid--> {}",searchKey,1);
? ? ? ? }
? ? }
}三、Redis搜索欄熱搜
1、前言
使用java和redis實(shí)現(xiàn)一個(gè)簡(jiǎn)單的熱搜功能，具備以下功能：
- 搜索欄展示當(dāng)前登陸的個(gè)人用戶的搜索歷史記錄，刪除個(gè)人歷史記錄
- 用戶在搜索欄輸入某字符，則將該字符記錄下來(lái) 以zset格式存儲(chǔ)的redis中，記錄該字符被搜索的個(gè)數(shù)以及當(dāng)前的時(shí)間戳 （用了DFA算法）
- 每當(dāng)用戶查詢了已在redis存在了的字符時(shí)，則直接累加個(gè)數(shù)， 用來(lái)獲取平臺(tái)上最熱查詢的十條數(shù)據(jù)。（可以自己寫(xiě)接口或者直接在redis中添加一些預(yù)備好的關(guān)鍵詞）
- 最后還要做不雅文字過(guò)濾功能。
代碼實(shí)現(xiàn)熱搜與個(gè)人搜索記錄功能，主要controller層下幾個(gè)方法就行了 ：
- 向redis 添加熱搜詞匯(添加的時(shí)候使用下面不雅文字過(guò)濾的方法來(lái)過(guò)濾下這個(gè)詞匯，合法再去存儲(chǔ)
- 每次點(diǎn)擊給相關(guān)詞熱度 +1
- 根據(jù)key搜索相關(guān)最熱的前十名
- 插入個(gè)人搜索記錄
- 查詢個(gè)人搜索記錄
2、代碼實(shí)現(xiàn)
2.1 創(chuàng)建RedisKeyUtils 工具類
管理redis的鍵，防止太亂了
public class RedisKeyUtils {
? ? /**
? ? ?* 分隔符號(hào)
? ? */
? ? private static final String SPLIT = ":";
? ? private static final String SEARCH = "search";
? ? private static final String SEARCH_HISTORY = "search-history";
? ? private static final String HOT_SEARCH = "hot-search";
? ? private static final String SEARCH_TIME = "search-time";
? ? /**
? ? ?* 每個(gè)用戶的個(gè)人搜索記錄hash
? ? */
? ? public static String getSearchHistoryKey(String userId){
? ? ? ? return SEARCH + SPLIT + SEARCH_HISTORY + SPLIT + userId;
? ? }
? ? /**
? ? ?* 總的熱搜zset
? ? ?*/
? ? public static String getHotSearchKey(){
? ? ? ? return SEARCH + SPLIT + HOT_SEARCH;
? ? }
? ? /**
? ? ?* 每個(gè)搜索記錄的時(shí)間戳記錄：key-value
? ? ?*/
? ? public static String getSearchTimeKey(String searchKey){
? ? ? ? return SEARCH + SPLIT + SEARCH_TIME + SPLIT + searchKey;
? ? }
? ??
}2.2 核心搜索文件
兩個(gè)文件是一起的
@Service("redisService")
public class RedisService {
? ? private Logger logger = LoggerFactory.getLogger(RedisService.class);
? ? /**
? ? ?* 取熱搜前幾名返回
? ? */
? ? private static final Integer HOT_SEARCH_NUMBER = 9;
? ? /**
? ? ?* 多少時(shí)間內(nèi)的搜索記錄胃熱搜
? ? ?*/
? ? private static final Long HOT_SEARCH_TIME = 30 * 24 * 60 * 60L;
? ??
? ??
? ? @Resource
? ? private StringRedisTemplate redisSearchTemplate;
? ? /**
? ? ?* 新增一條該userid用戶在搜索欄的歷史記錄
? ? */
? ? public Long addSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? try{
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 如果存在這個(gè)key
? ? ? ? ? ? boolean b = Boolean.TRUE.equals(redisSearchTemplate.hasKey(redisKey));
? ? ? ? ? ? if (b) {
? ? ? ? ? ? ? ? // 獲取這個(gè)關(guān)鍵詞hash的值，有就返回，沒(méi)有就新增
? ? ? ? ? ? ? ? Object hk = redisSearchTemplate.opsForHash().get(redisKey, searchKey);
? ? ? ? ? ? ? ? if (hk != null) {
? ? ? ? ? ? ? ? ? ? return 1L;
? ? ? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? ? ? redisSearchTemplate.opsForHash().put(redisKey, searchKey, "1");
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? // 沒(méi)有這個(gè)關(guān)鍵詞就新增
? ? ? ? ? ? ? ? redisSearchTemplate.opsForHash().put(redisKey, searchKey, "1");
? ? ? ? ? ? }
? ? ? ? ? ? return 1L;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
? ? /**
? ? ?* 刪除個(gè)人歷史數(shù)據(jù)
? ? */
? ? public Long delSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? try {
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 刪除這個(gè)用戶的關(guān)鍵詞記錄
? ? ? ? ? ? return redisSearchTemplate.opsForHash().delete(redisKey, searchKey);
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
? ? /**
? ? ?* 獲取個(gè)人歷史數(shù)據(jù)列表
? ? */
? ? public List<String> getSearchHistoryByUserId(String userId) {
? ? ? ? try{
? ? ? ? ? ? List<String> stringList = null;
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 判斷存不存在
? ? ? ? ? ? boolean b = Boolean.TRUE.equals(redisSearchTemplate.hasKey(redisKey));
? ? ? ? ? ? if(b){
? ? ? ? ? ? ? ? stringList = new ArrayList<>();
? ? ? ? ? ? ? ? // 逐個(gè)掃描，ScanOptions.NONE為獲取全部鍵對(duì)，ScanOptions.scanOptions().match("map1").build() 匹配獲取鍵位map1的鍵值對(duì),不能模糊匹配
? ? ? ? ? ? ? ? Cursor<Map.Entry<Object, Object>> cursor = redisSearchTemplate.opsForHash().scan(redisKey, ScanOptions.NONE);
? ? ? ? ? ? ? ? while (cursor.hasNext()) {
? ? ? ? ? ? ? ? ? ? Map.Entry<Object, Object> map = cursor.next();
? ? ? ? ? ? ? ? ? ? String key = map.getKey().toString();
? ? ? ? ? ? ? ? ? ? stringList.add(key);
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? return stringList;
? ? ? ? ? ? }
? ? ? ? ? ? return null;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return null;
? ? ? ? }
? ? }
? ? /**
? ? ?* 根據(jù)searchKey搜索其相關(guān)最熱的前十名 (如果searchKey為null空，則返回redis存儲(chǔ)的前十最熱詞條)
? ? */
? ? public List<String> getHotList(String searchKey) {
? ? ? ? try {
? ? ? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ? ? List<String> result = new ArrayList<>();
? ? ? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? ? ? Set<String> value = zSetOperations.reverseRangeByScore(RedisKeyUtils.getHotSearchKey(), 0, Double.MAX_VALUE);
? ? ? ? ? ? //key不為空的時(shí)候 推薦相關(guān)的最熱前十名
? ? ? ? ? ? if(StringUtils.isNotEmpty(searchKey)){
? ? ? ? ? ? ? ? for (String val : value) {
? ? ? ? ? ? ? ? ? ? if (StringUtils.containsIgnoreCase(val, searchKey)) {
? ? ? ? ? ? ? ? ? ? ? ? //只返回最熱的前十名
? ? ? ? ? ? ? ? ? ? ? ? if (result.size() > HOT_SEARCH_NUMBER) {
? ? ? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? ? ? Long time = Long.valueOf(Objects.requireNonNull(valueOperations.get(val)));
? ? ? ? ? ? ? ? ? ? ? ? //返回最近一個(gè)月的數(shù)據(jù)
? ? ? ? ? ? ? ? ? ? ? ? if ((now - time) < HOT_SEARCH_TIME) {
? ? ? ? ? ? ? ? ? ? ? ? ? ? result.add(val);
? ? ? ? ? ? ? ? ? ? ? ? } else {//時(shí)間超過(guò)一個(gè)月沒(méi)搜索就把這個(gè)詞熱度歸0
? ? ? ? ? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), val, 0);
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? for (String val : value) {
? ? ? ? ? ? ? ? ? ? //只返回最熱的前十名
? ? ? ? ? ? ? ? ? ? if (result.size() > HOT_SEARCH_NUMBER) {
? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? Long time = Long.valueOf(Objects.requireNonNull(valueOperations.get(val)));
? ? ? ? ? ? ? ? ? ? //返回最近一個(gè)月的數(shù)據(jù)
? ? ? ? ? ? ? ? ? ? if ((now - time) < HOT_SEARCH_TIME) {
? ? ? ? ? ? ? ? ? ? ? ? result.add(val);
? ? ? ? ? ? ? ? ? ? } else {
? ? ? ? ? ? ? ? ? ? ? ? //時(shí)間超過(guò)一個(gè)月沒(méi)搜索就把這個(gè)詞熱度歸0
? ? ? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), val, 0);
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? return result;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return null;
? ? ? ? }
? ? }
}接上一個(gè)
@Service("redisService")
public class RedisService {
? ? private Logger logger = LoggerFactory.getLogger(RedisService.class);
? ? @Resource
? ? private StringRedisTemplate redisSearchTemplate;
? ? /**
? ? ?* 新增一條熱詞搜索記錄，將用戶輸入的熱詞存儲(chǔ)下來(lái)
? ? */
? ? public int incrementScoreByUserId(String searchKey) {
? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? List<String> title = new ArrayList<>();
? ? ? ? title.add(searchKey);
? ? ? ? for (int i = 0, length = title.size(); i < length; i++) {
? ? ? ? ? ? String tle = title.get(i);
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? if (zSetOperations.score(RedisKeyUtils.getHotSearchKey(), tle) <= 0) {
? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), tle, 0);
? ? ? ? ? ? ? ? ? ? valueOperations.set(RedisKeyUtils.getSearchTimeKey(tle), String.valueOf(now));
? ? ? ? ? ? ? ? }
? ? ? ? ? ? } catch (Exception e) {
? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), tle, 0);
? ? ? ? ? ? ? ? valueOperations.set(RedisKeyUtils.getSearchTimeKey(tle), String.valueOf(now));
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return 1;
? ? }
? ? /**
? ? ?* 每次點(diǎn)擊給相關(guān)詞searchKey熱度 +1
? ? */
? ? public Long incrementScore(String searchKey) {
? ? ? ? try{
? ? ? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? ? ? // 沒(méi)有的話就插入，有的話的直接更新；add是有就覆蓋，沒(méi)有就插入
? ? ? ? ? ? zSetOperations.incrementScore(RedisKeyUtils.getHotSearchKey(), searchKey, 1);
? ? ? ? ? ? valueOperations.getAndSet(RedisKeyUtils.getSearchTimeKey(searchKey), String.valueOf(now));
? ? ? ? ? ? return 1L;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
}2.3 測(cè)試使用
以下只是簡(jiǎn)單的測(cè)試，上面的核心函數(shù)可以自己組合，一般組合加上敏感詞過(guò)濾
@RestController
public class SearchHistoryController {
? ? @Autowired
? ? RedisService redisService;
? ? @GetMapping("/add")
? ? public String addSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? redisService.addSearchHistoryByUserId(userId, searchKey);
? ? ? ? redisService.incrementScore(searchKey);
? ? ? ? return null;
? ? }
? ? /**
? ? ?* 刪除個(gè)人歷史數(shù)據(jù)
? ? ?*/
? ? @GetMapping("/del")
? ? public Long delSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? return redisService.delSearchHistoryByUserId(userId, searchKey);
? ? }
? ? /**
? ? ?* 獲取個(gè)人歷史數(shù)據(jù)列表
? ? ?*/
? ? @GetMapping("/getUser")
? ? public List<String> getSearchHistoryByUserId(String userId) {
? ? ? ? return redisService.getSearchHistoryByUserId(userId);
? ? }
? ? /**
? ? ?* 根據(jù)searchKey搜索其相關(guān)最熱的前十名 (如果searchKey為null空，則返回redis存儲(chǔ)的前十最熱詞條)
? ? ?*/
? ? @GetMapping("/getHot")
? ? public List<String> getHotList(String searchKey) {
? ? ? ? return redisService.getHotList(searchKey);
? ? }
}參考文章
到此這篇關(guān)于SpringBoot 熱搜與不雅文字過(guò)濾的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)SpringBoot 熱搜與不雅文字過(guò)濾內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Java中的LinkedHashMap及LRU緩存機(jī)制詳解
這篇文章主要介紹了Java中的LinkedHashMap及LRU緩存機(jī)制詳解,LinkedHashMap繼承自HashMap,它的多種操作都是建立在HashMap操作的基礎(chǔ)上的,同HashMap不同的是,LinkedHashMap維護(hù)了一個(gè)Entry的雙向鏈表,保證了插入的Entry中的順序,需要的朋友可以參考下2023-09-09
SpringBoot開(kāi)啟Swagger并配置基本信息方式
這篇文章主要介紹了SpringBoot開(kāi)啟Swagger并配置基本信息方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05
在實(shí)體類的對(duì)應(yīng)屬性上添 @NotBlank注解,可以實(shí)現(xiàn)對(duì)空置的限制,本文就來(lái)介紹一下java中@NotBlank限制屬性不能為空,感興趣的可以了解一下2024-01-01
Spring Boot 2.x 實(shí)現(xiàn)文件上傳功能
這篇文章主要介紹了Spring Boot 2.x 實(shí)現(xiàn)文件上傳功能,本文分步驟通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
本文主要介紹了Eclipse智能提示及快捷鍵的相關(guān)知識(shí)，具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧2017-03-03
Java編譯錯(cuò)誤問(wèn)題:需要class,interface或enum
這篇文章主要介紹了Java編譯錯(cuò)誤問(wèn)題:需要class,interface或enum,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
Spring中@DependsOn注解的作用及實(shí)現(xiàn)原理解析
這篇文章主要介紹了Spring中@DependsOn注解的作用及實(shí)現(xiàn)原理解析,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
相信現(xiàn)在很多搞后端的同學(xué)大部分做的都是后臺(tái)管理系統(tǒng),那么管理系統(tǒng)就肯定免不了Excel的導(dǎo)出導(dǎo)入功能,下面這篇文章主要給大家介紹了關(guān)于Java簡(jiǎn)單使用EasyExcel操作讀寫(xiě)與解析的步驟與要點(diǎn),需要的朋友可以參考下2022-11-11
本文通過(guò)示例大家給大家介紹了java8之lambda表達(dá)式的基本語(yǔ)法，感興趣的的朋友一起看看吧2017-08-08
MyBatis-Plus與Druid結(jié)合Dynamic-datasource實(shí)現(xiàn)多數(shù)據(jù)源操作數(shù)據(jù)庫(kù)的示例
Dynamic-DataSource 可以和絕大多是連接層插件搭配使用,比如:mybatis,mybatis-plus,hibernate等，本文就來(lái)介紹一下MyBatis-Plus與Druid結(jié)合Dynamic-datasource實(shí)現(xiàn)多數(shù)據(jù)源操作數(shù)據(jù)庫(kù)的示例，感興趣的可以了解一下2023-10-10