Oracle에서 iBatis batch 사용 - 대용량 업데이트 시

대용량 업데이트 시 속도 향상을 위해 batch를 사용하여 insert/update를 한다.

ojdbc.jar에 있는 ORACLE 전용 batch를 사용하면 더 빠른 수행결과를 보여주나

iBatis에서는 Java에 있는 batch 방법만을 사용할 수 있다.

하지만 대용량의 데이터를 한번에 executeBatch() 해준다면 서버에 메모리를 많이 사용하게 되어 메모리 부족현상이 발생할 수 있다.

그래서 5~30 (Oracle에서 제시한 배치 size라고 함)를 한 묶음으로 배치 처리해주는 것이 효율적이다.

임시테이블에 컬럼 2개를 생성하여 10만건을 insert/update를 해본 결과

배치 크기를 30으로 줬을 땐 약 5.5초가 걸렸고

배치 크기를 1000으로 줬을 땐 약 4초가 걸렸다.

참고로 배치 사용 안하면 약 30초가 걸렸다.

※ 배치 사용할 시 테이블에 인덱스를 사용안하면 일반 업데이트와 큰 차이가 없다.

IbatisTest.java

package ibatis;

import java.io.IOException;

import java.io.Reader;

import java.sql.SQLException;

import java.util.HashMap;

import java.util.Map;

import org.apache.log4j.Logger;

import org.springframework.util.StopWatch;

import com.ibatis.common.resources.Resources;

import com.ibatis.sqlmap.client.SqlMapClient;

import com.ibatis.sqlmap.client.SqlMapClientBuilder;

public class IbatisTest {

private static final Logger log = Logger.getLogger(IbatisTest.class);

private static SqlMapClient sqlMapper;

private static StopWatch stopWatch = new StopWatch("IbatisTest");

static {

try {

Reader reader = Resources.getResourceAsReader("SqlMapConfig.xml");

sqlMapper = SqlMapClientBuilder.buildSqlMapClient(reader);

reader.close(); 

} catch (IOException e) {

throw new RuntimeException("Something bad happened while building the SqlMapClient instance." + e, e);

}

}

public static void updateTest() throws SQLException {

stopWatch.start("updateTest");

Map<String, Object> params = new HashMap<String, Object>();

sqlMapper.startTransaction();

sqlMapper.startBatch();

for (int i = 1; i <= 100000; i++) {

params.put("seq", i);

params.put("content", "HELLO");

sqlMapper.update("updateTest", params);

if (i % 30 == 0) {

sqlMapper.executeBatch();

sqlMapper.startBatch();

}

}

sqlMapper.executeBatch();

sqlMapper.commitTransaction();

sqlMapper.endTransaction();

stopWatch.stop();

log.info(stopWatch.prettyPrint());

}

public static void main(String[] args) throws Exception {

updateTest();

}

}

IbatisTest.xml

<?xml version="1.0" encoding="UTF-8" ?>

<!DOCTYPE sqlMap      

    PUBLIC "-//ibatis.apache.org//DTD SQL Map 2.0//EN"      

    "http://ibatis.apache.org/dtd/sql-map-2.dtd">

<sqlMap namespace="ibatisTest">

<update id="updateTest" parameterClass="map">

   MERGE INTO TEST

USING DUAL

        ON (

            SEQ = #seq#

)

WHEN MATCHED THEN

   UPDATE SET CONTENT = #content# || #seq#

WHEN NOT MATCHED THEN

            INSERT (SEQ, CONTENT)

VALUES (#seq#, #content#) 

</update>

</sqlMap>

SqlMapConfig.xml

<?xml version="1.0" encoding="UTF-8" ?>

<!DOCTYPE sqlMapConfig      

    PUBLIC "-//ibatis.apache.org//DTD SQL Map Config 2.0//EN"      

    "http://ibatis.apache.org/dtd/sql-map-config-2.dtd">

<sqlMapConfig>

<settings

  cacheModelsEnabled="true"

  enhancementEnabled="true"

  lazyLoadingEnabled="true"

  useStatementNamespaces="false"

/>

<transactionManager type="JDBC">

<dataSource type="DBCP">

<property name="JDBC.Driver" value="oracle.jdbc.driver.OracleDriver" />

<property name="JDBC.ConnectionURL" value="jdbc:oracle:thin:@localhost:1521:orcl" />

<property name="JDBC.Username" value="hr" />

<property name="JDBC.Password" value="hr" />

<property name="Pool.MaximumActiveConnections" value="10" />

<property name="Pool.MaximumIdleConnections" value="5" />

<property name="Pool.MaximumWait" value="60000" />

<property name="Pool.ValidationQuery" value="SELECT 1 FROM DUAL" />

<property name="Pool.LogAbandoned" value="false" />

<property name="Pool.RemoveAbandoned" value="false" />

<property name="Pool.RemoveAbandonedTimeout" value="50000" />

<property name="Driver.DriverSpecificProperty" value="SomeValue" />

</dataSource>

</transactionManager>

<sqlMap resource="ibatis/IbatisTest.xml" />

</sqlMapConfig>

log4j.properties

log4j.rootLogger=INFO, stdout

log4j.logger.java.sql.Connection=DEBUG

log4j.logger.java.sql.Statement=DEBUG

log4j.logger.java.sql.PreparedStatement=DEBUG

log4j.logger.java.sql.ResultSet=DEBUG

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss} - %m%n

사용된 라이브러리

cglib-nodep-2.2.3.jar

commons-collections-3.2.1.jar

commons-dbcp-1.4.jar

commons-logging-1.1.1.jar

commons-pool-1.6.jar

ibatis-2.3.4.726.jar

log4j-1.2.17.jar

ojdbc6.jar

oscache-2.4.1.jar

spring.jar

 

순수 Java 코딩이라면 OracleConnection과 OraclePrepareStatement를 사용하는 batch 방법을 추천한다. 이 방식이 더 빠르다.

끝.