背景:
当查询百万级的数据的时候,查询出所有数据并放入内存中时会发生OOM(OutOfMemoryException),使用游标可以节省内存的消耗,不需要一次性取出所有数据,可以进行逐条处理或逐条取出部分批量处理,在此场景下就可以使用游标的概念来解决这个问题。
什么是游标:
游标(Cursor)是处理数据的一种方法,为了查看或者处理结果集中的数据,游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。
Demo:
// 第一种
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
List<DepartmentEntity> queryDepartmentAll();
// 第二种 在Mybatis-3.4.0版本中,不支持@select注解,在3.4.1版本中已经修复:
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
Cursor<Employee> cursorQueryDepartmentAll();
@Service
public class DepartmentServiceImpl implements DepartmentService {
private static final Logger LOG = ();
@Autowired
private DepartmentDao departmentDao;
@Autowired
private SqlSessionTemplate sqlSessionTemplate;
public List<DepartmentDTO> getDepartmentList(DepartmentSearchParam param) {
Cursor<Object> cursor = null;
SqlSession sqlSession = null;
try {
sqlSession = ().openSession();
cursor = (() + ".queryDepartmentAll");
(e -> {
// 处理逻辑
});
// 也可以使用迭代器:Iterator<Object> iterator = ();
} catch (Exception e) {
();
} finally {
if (null != cursor) {
try {
();
} catch (Exception e) {
((), e);
}
}
if (null != sqlSession) {
try {
();
} catch (Exception e) {
((), e);
}
}
}
}
}
ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。
ResultSet.TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动,当数据库变化时,当前结果集不变。
ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集,当数据库变化时,当前结果集同步改变。
注意:游标是可以前后移动的。如果resultSetType = TYPE_SCROLL_INSENSITIVE ,就是设置游标就可以前后移动。Mybatis为了保证可以前后移动,Mybatis会把之前查询的数据一直保存在内存中。所以并不能根本解决OOM,所以我们这里需要设置为@Options(resultSetType = ResultSetType.FORWARD_ONLY)(其实默认就是ResultSetType.FORWARD_ONLY)