SpringBoot实现模块日志入库的项目实践

SpringBoot 模块日志入库 SpringBoot 模块日志 2023-05-18 11:05:50 922人浏览独家记忆

Python 官方文档：入门教程 => 点击学习

摘要

目录1.简述2.LoginController3.Action4.TransactionUtils5.LoginService6.LoginLogService6.1 @Async实

1.简述

模块日志的实现方式大致有三种：

aop + 自定义注解实现
输出指定格式日志 + 日志扫描实现
在接口中通过代码侵入的方式，在业务逻辑处理之后，调用方法记录日志。

这里我们主要讨论下第3种实现方式。

假设我们需要实现一个用户登录之后记录登录日志的操作。

调用关系如下：

这里的核心代码是在 LoginService.login() 方法中设置了在事务结束后执行：

// 指定事务提交后执行
TransactionSynchronizationManager.reGISterSynchronization(new TransactionSynchronization() {
    // 不需要事务提交前的操作，可以不用重写这个方法
    @Override
    public void beforeCommit(boolean readOnly) {
        System.out.println("事务提交前执行");
    }
    @Override
    public void afterCommit() {
        System.out.println("事务提交后执行");
    }
});

在这里，我们把这段代码封装成了工具类，参考：4.TransactionUtils。

如果在 LoginService.login() 方法中开启了事务，不指定事务提交后指定的话，日志处理的方法做异步和做新事务都会有问题：

做异步：由于主事务可能没有执行完毕，导致可能读取不到主事务中新增或修改的数据信息；
做新事物：可以通过 Propagation.REQUIRES_NEW 事务传播行为来创建新事务，在新事务中执行记录日志的操作，可能会导致如下问题：
- 由于数据库默认事务隔离级别是可重复读，意味着事物之间读取不到未提交的内容，所以也会导致读取不到主事务中新增或修改的数据信息；
- 如果开启的新事务和之前的事务操作了同一个表，就会导致锁表。
什么都不做，直接同步调用：问题最多，可能导致如下几个问题：
- 不捕获异常，直接导致接口所有操作回滚；
- 捕获异常，部分数据库，如：postgresql，同一事务中，只要有一次执行失败，就算捕获异常，剩余的数据库操作也会全部失败，抛出异常；
- 日志记录耗时增加接口响应时间，影响用户体验。

2.LoginController

@RestController
public class LoginController {
    @Autowired
    private LoginService loginService;
    @RequestMapping("/login")
    public String login(String username, String pwd) {
        loginService.login(username, pwd);
        return "succeed";
    }
}

3.Action


public interface Action {
        
        void doSomething();
}

4.TransactionUtils

import org.springframework.transaction.support.TransactionSynchronization;
import org.springframework.transaction.support.TransactionSynchronizationManager;

public class TransactionUtils {
    
    public static void beforeTransactionCommit(Action action) {
        TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronization() {
            @Override
            public void beforeCommit(boolean readOnly) {
                // 异步执行
                action.doSomething();
            }
        });
    }
    
    public static void afterTransactionCommit(Action action) {
        TransactionSynchronizationManager.registerSynchronization(new TransactionSynchronization() {
            @Override
            public void afterCommit() {
                // 异步执行
                action.doSomething();
            }
        });
    }
}

5.LoginService

@Service
public class LoginService {
    @Autowired
    private LoginLogService loginLogService;
    
    @Transactional(rollbackFor = Exception.class)
    public void login(String username, String pwd) {
        // 用户登录
        // TODO: 实现登录逻辑..
        // 事务提交后执行
        TransactionUtil.afterTransactionCommit(() -> {
            // 异步执行
            taskExecutor.execute(() -> {
                // 记录日志
                loginLogService.recordLog(username);
            });
        });
    }
}

6.LoginLogService

6.1 @Async实现异步

@Service
public class LoginLogService {
    
    @Async
    @Transactional(rollbackFor = Exception.class)
    public void recordLog(String username) {
        // TODO: 实现记录日志逻辑...
    }
}

注意：@Async 需要配合 @EnableAsync 使用，@EnableAsync 添加到启动类、配置类、自定义线程池类上均可。

补充：由于 @Async 注解会动态创建一个继承类来扩展方法的实现，所以可能会导致当前类注入Bean容器失败 BeanCurrentlyInCreationException，可以使用如下方式：自定义线程池 + @Autowired

6.2 自定义线程池实现异步

1）自定义线程池

AsyncTaskExecutorConfig.java

import com.demo.async.ContextCopyingDecorator;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.task.TaskExecutor;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.ThreadPoolExecutor;

@EnableAsync
@Configuration
public class AsyncTaskExecutorConfig {
    
    private int corePoolSize = 10;
    
    private int maxPoolSize = 200;
    
    private int queueCapacity = 10;
    @Bean
    public TaskExecutor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(corePoolSize);
        executor.setMaxPoolSize(maxPoolSize);
        executor.setQueueCapacity(queueCapacity);
        executor.setThreadNamePrefix("MyExecutor-");
        // for passing in request scope context 转换请求范围的上下文
        executor.setTaskDecorator(new ContextCopyingDecorator());
        // rejection-policy：当pool已经达到max size的时候，如何处理新任务
        // CALLER_RUNS：不在新线程中执行任务，而是有调用者所在的线程来执行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.initialize();
        return executor;
    }
}

2）复制上下文请求

ContextCopyingDecorator.java

import org.slf4j.MDC;
import org.springframework.core.task.TaskDecorator;
import org.springframework.security.core.context.SecurityContext;
import org.springframework.security.core.context.SecurityContextHolder;
import org.springframework.WEB.context.request.RequestAttributes;
import org.springframework.web.context.request.RequestContextHolder;
import java.util.Map;

public class ContextCopyingDecorator implements TaskDecorator {
    @Override
    public Runnable decorate(Runnable runnable) {
        try {
            // 从父线程中获取上下文，然后应用到子线程中
            RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();
            Map<String, String> previous = MDC.getCopyOfContextMap();
            SecurityContext securityContext = SecurityContextHolder.getContext();
            return () -> {
                try {
                    if (previous == null) {
                        MDC.clear();
                    } else {
                        MDC.setContextMap(previous);
                    }
                    RequestContextHolder.setRequestAttributes(requestAttributes);
                    SecurityContextHolder.setContext(securityContext);
                    runnable.run();
                } finally {
                    // 清除请求数据
                    MDC.clear();
                    RequestContextHolder.resetRequestAttributes();
                    SecurityContextHolder.clearContext();
                }
            };
        } catch (IllegalStateException e) {
            return runnable;
        }
    }
}

3）自定义线程池实现异步 LoginService

import org.springframework.transaction.support.TransactionSynchronization;
import org.springframework.transaction.support.TransactionSynchronizationManager;
@Service
public class LoginService {
    @Autowired
    private LoginLogService loginLogService;
    @Qualifier("taskExecutor")
    @Autowired
    private TaskExecutor taskExecutor;
    
    @Transactional(rollbackFor = Exception.class)
    public void login(String username, String pwd) {
        // 用户登录
        // TODO: 实现登录逻辑..
        // 事务提交后执行
        TransactionUtil.afterTransactionCommit(() -> {
            // 异步执行
            taskExecutor.execute(() -> {
                // 记录日志
                loginLogService.recordLog(username);
            });
        });
    }
}

7.其他解决方案

7.1 使用编程式事务来代替@Transactional

我们还可以使用TransactionTemplate来代替 @Transactional 注解：

import org.springframework.transaction.support.TransactionTemplate;
@Service
public class LoginService {
    @Autowired
    private LoginLogService loginLogService;
    @Autowired
    private TransactionTemplate transactionTemplate;
    
    public void login(String username, String pwd) {
        // 用户登录
        transactionTemplate.execute(status->{
            // TODO: 实现登录逻辑..
        });
        // 事务提交后异步执行
        taskExecutor.execute(() -> {
            // 记录日志
            loginLogService.recordLog(username);
        });
    }
}

经测试：

这种实现方式抛出异常后，事务也可以正常回滚

正常执行之后也可以读取到事务执行后的内容，可行。

别看日志记录好实现，坑是真的多，这里记录的只是目前遇到的问题。