Java jdbc批量多線程讀取CVS文件入庫
更新時間：2019年08月29日 17:04:11 作者：吳林
這篇文章主要為大家詳細(xì)介紹了Java jdbc批量多線程讀取CVS文件入庫，具有一定的參考價值，感興趣的小伙伴們可以參考一下
需求是這樣的：現(xiàn)在需要測試一個內(nèi)存數(shù)據(jù)庫的入庫性能，要求測試每線程準(zhǔn)備一個文件，10個線程入庫總計100w記錄數(shù)的單表入庫性能。
知識點：jdbc + 多線程 + 批處理 + 文件讀取
先來看看我的代碼結(jié)構(gòu)
說明：
files: 存放即將要讀取的文件。
lib: 存放第三方的jar文件，例如數(shù)據(jù)庫驅(qū)動包。
MemSqlTestMain: 這是工程的入口，就是主程序。
DBUtil: 這個類是數(shù)據(jù)庫幫助類，主要讀取數(shù)據(jù)庫配置信息獲取連接關(guān)閉連接等操作。
InsertUtil: 主要做的是讀取數(shù)據(jù)文件生成sql并批量入庫的一個類。
TableDataInfo: 主要對要插入的數(shù)據(jù)表的對象的一個類。
XMLUtil: 讀取XML配置文件
config.xml: 配置要插入的表信息以及文件的路徑等信息
dbconfig.properties: 主要對數(shù)據(jù)庫的連接信息進行存儲，包括URL，用戶名密碼等等。
話不多說直接上代碼：
import java.util.ArrayList;
/**
* @param
* @author wu.lin
* @description 程序入口，啟用線程讀取文件并入庫
* @create 2016年09月01日 15:12
* @throws
*/
public class MemSqlTestMain {
public static void main(String[] args) {
//通過讀取配置文件讀取要插入數(shù)據(jù)的表名
String tableName = XMLUtil.getTableName();
System.out.println(tableName);
//通過配置文件讀取數(shù)據(jù)存放的文件的路徑
ArrayList<String> fileNameList = XMLUtil.getFileNameList();
int len = fileNameList.size();
//針對每一個文件開啟一個進程去執(zhí)行讀取并入庫的操作
for (int i = 0; i < len; i++) {
String fileName = fileNameList.get(i);
System.out.println(fileName);
new Thread(new InsertUtil(fileName, tableName)).start();
}
}
}
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.sql.*;
/**
* @param
* @author wu.lin
* @description InsertUtil是一個線程類，主要讀取數(shù)據(jù)文件組裝Sql并執(zhí)行入庫操作
* @create 2016年09月01日 14:10
* @throws
*/
public class InsertUtil implements Runnable {
//文件路徑
private String filePath;
//表名
private String tableName;
//.cvs文件數(shù)據(jù)以","分隔
private static String DELIMITERS = ",";
//獲取數(shù)據(jù)庫幫助類
DBUtil dbutil = DBUtil.getInstance();
public InsertUtil() {}
public InsertUtil(String filePath, String tableName) {
this.filePath = filePath;
this.tableName = tableName;
}
public static String getDELIMITERS() {
return DELIMITERS;
}
public static void setDELIMITERS(String delimiters) {
DELIMITERS = delimiters;
}
public String getFilePath() {
return filePath;
}
public void setFilePath(String filePath) {
this.filePath = filePath;
}
//讀取文件并且批處理入庫的方法
public boolean insertDB(String tablename, long rc, String filePath) {
if(filePath == null || "".equals(filePath)) {
System.out.println("文件路徑為空");
return false;
}
if (rc < 1) {
rc = 100;
}
Connection conn = null;
boolean flag = false;
Statement pre = null;
String sql = "";
TableDataInfo tableInfo = new TableDataInfo();
try {
if(conn == null) {
conn = dbutil.getConnection();
}
pre = conn.createStatement();
conn.setAutoCommit(false);
int colCount = tableInfo.getTableColNums(tablename, conn);
int rowCount = 0;
File file = new File(filePath);
BufferedReader buf = null;
buf = new BufferedReader(new InputStreamReader(new FileInputStream(file)));
String line_record = buf.readLine();
long startTime = System.currentTimeMillis(); //開始計時
while (line_record != null) {
// 解析每一條記錄
sql = "INSERT INTO " + tablename + " VALUES('";
String[] fields = line_record.split(DELIMITERS);
//對Insert語句的合法性進行判斷
if(fields.length != colCount){
System.out.println("要插入的數(shù)據(jù)列數(shù)和表的數(shù)據(jù)列不相匹配，停止執(zhí)行");
break;
}
for (int i = 0; i < fields.length; i++) {
sql += fields[i];
if (i < fields.length - 1) {
sql += "','";
}
}
sql += "');";
// 在控制臺輸出SQL語句
// System.out.println(sql);
//執(zhí)行SQL語句
pre.addBatch(sql);
rowCount++;
line_record = buf.readLine();
if (rowCount >= rc) {
break;
}
}
pre.executeBatch();
conn.setAutoCommit(true);
pre.close();
System.out.println("共寫入行數(shù)：" + rowCount);
long endTime = System.currentTimeMillis(); //停止計時
System.out.println("執(zhí)行時間為:" + (endTime - startTime) + " ms");
} catch (Exception e) {
flag = false;
try {
//回滾
if(conn != null) {
conn.rollback();
}
} catch (SQLException e1) {
e1.printStackTrace();
}
e.printStackTrace();
} finally {
dbutil.close(null, pre, conn);
}
return flag;
}
public void run() {
this.insertDB(tableName, 500000, filePath);
}
}
import java.sql.Connection;
import java.sql.DatabaseMetaData;
import java.sql.ResultSet;
import java.sql.SQLException;
/**
* @param
* @author wu.lin
* @description 數(shù)據(jù)庫表實體
* @create 2016年09月01日 14:19
* @throws
*/
public class TableDataInfo {
DBUtil dbutil = DBUtil.getInstance();
/**
*
* @param m_TableName
* @param m_Connection
* @return 該表的列數(shù)
*/
public int getTableColNums(String m_TableName, Connection m_Connection) {
int colCount = 0;
try {
if (m_Connection == null) {
m_Connection = dbutil.getConnection();
}
DatabaseMetaData m_DBMetaData = m_Connection.getMetaData();
ResultSet tableRet = m_DBMetaData.getTables(null, "%", m_TableName,
new String[] { "TABLE" });
while (tableRet.next()) {
System.out.println("Table name is:"
+ tableRet.getString("TABLE_NAME"));
}
String columnName;
String columnType;
ResultSet colRet = m_DBMetaData.getColumns(null, "%", m_TableName,"%");
while (colRet.next()) {
columnName = colRet.getString("COLUMN_NAME");
columnType = colRet.getString("TYPE_NAME");
int dataSize = colRet.getInt("COLUMN_SIZE");
int digits = colRet.getInt("DECIMAL_DIGITS");
int nullable = colRet.getInt("NULLABLE");
String nullFlag;
if (nullable == 1) {
nullFlag = "Null";
} else {
nullFlag = "Not Null";
}
System.out.println(columnName + " " + columnType + "("
+ dataSize + "," + digits + ") " + nullFlag);
colCount++;
}
} catch (SQLException e) {
e.printStackTrace();
}
System.out.println("The number of column is: " + colCount);
return colCount;
}
}
接下來就剩下讀取配置文件的代碼了，先來看看配置文件內(nèi)容（這里配置了數(shù)據(jù)庫配置文件路徑表名以及文件存放的相對路徑）：
<?xml version="1.0" encoding="utf-8" ?> <config> <db_file>src/dbconfig.properties</db_file> <tableName>memtest</tableName> <files> <filePath>files/memtest.csv</filePath> <filePath>files/memtest_1.csv</filePath> <filePath>files/memtest_2.csv</filePath> <filePath>files/memtest_3.csv</filePath> <filePath>files/memtest_4.csv</filePath> <filePath>files/memtest_5.csv</filePath> <filePath>files/memtest_6.csv</filePath> <filePath>files/memtest_7.csv</filePath> <filePath>files/memtest_8.csv</filePath> <filePath>files/memtest_9.csv</filePath> <filePath>files/memtest_10.csv</filePath> </files> </config>
接下來是讀取這個配置文件的內(nèi)容，比較簡單，所以只貼部分代碼：
import javax.xml.parsers.*;
import org.w3c.dom.*;
import java.io.*;
import java.util.ArrayList;
/**
* @param
* @author wu.lin
* @description 讀取配置信息
* @create 2016年09月01日 15:45
* @throws
*/
public class XMLUtil {
//該方法用于從XML配置文件中提取要插入的表名稱，并返回該表名稱
public static String getTableName() {
return getXmlProperties("tableName");
}
public static String getDatabaseUrl() {
return getXmlProperties("dataBaseUrl");
}
public static String getDbFilePath() {
return getXmlProperties("db_file");
}
private static String getXmlProperties(String proName) {
try {
Document doc = getDoc();
//獲取包含品牌名稱的文本節(jié)點
NodeList nl = doc.getElementsByTagName(proName);
Node classNode=nl.item(0).getFirstChild();
String tableName=classNode.getNodeValue().trim();
return tableName;
} catch(Exception e)
{
e.printStackTrace();
return null;
}
}
private static Document getDoc() throws Exception {
//創(chuàng)建文檔對象
DocumentBuilderFactory dFactory = DocumentBuilderFactory.newInstance();
DocumentBuilder builder = dFactory.newDocumentBuilder();
Document doc;
doc = builder.parse(new File("src/config.xml"));
return doc;
}
}
數(shù)據(jù)庫配置信息文檔：
db.used=mysql # driver class oracle.jdbc.driver_class=oracle.jdbc.driver.OracleDriver # URL oracle.jdbc.url=jdbc:oracle:thin:@localhost:1521:ORCL # username oracle.jdbc.username=scott # pwd oracle.jdbc.pwd=tiger #mysql connect config mysql.jdbc.driver_class=com.mysql.jdbc.Driver mysql.jdbc.url=jdbc:mysql://localhost:3306/mysqldb mysql.jdbc.username=root mysql.jdbc.pwd=
最后是數(shù)據(jù)庫幫助類，比較常見：
import java.io.FileInputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
/**
* @param
* @author wu.lin
* @description 數(shù)據(jù)庫幫助類
* @create 2016年09月01日 18:56
* @throws
*/
public class DBUtil {
private static Properties env = new Properties();
private static DBUtil dbutil;
private static String dbname;
private static String driverClass_key;
private static String url_key;
private static String username_key;
private static String pwd_key;
private DBUtil(){}
// 單例模式
public static synchronized DBUtil getInstance() {
if (null == dbutil) {
dbutil = new DBUtil();
}
return dbutil;
}
/**
* 得到數(shù)據(jù)庫連接
* @return
*/
public Connection getConnection() {
Connection conn = null;
try {
env.load(new FileInputStream(XMLUtil.getDbFilePath()));
dbname = env.getProperty("db.used").toLowerCase();
driverClass_key = dbname + ".jdbc.driver_class";
url_key = dbname + ".jdbc.url";
username_key = dbname + ".jdbc.username";
pwd_key = dbname + ".jdbc.pwd";
//加載連接數(shù)據(jù)庫的驅(qū)動程序類文件
Class.forName(env.getProperty(driverClass_key));
conn = createConnection();
} catch (Exception e) {
e.printStackTrace();
}
return conn;
}
private Connection createConnection() throws SQLException {
Connection conn = null;
if ("oracle".equals(dbname)) {
conn = DriverManager.getConnection(env.getProperty(url_key), env.getProperty(username_key),
env.getProperty(pwd_key));
}
if ("sqlserver".equals(dbname)) {
conn = DriverManager.getConnection(env.getProperty(url_key), env.getProperty(username_key),
env.getProperty(pwd_key));
}
if ("mysql".equals(dbname)) {
// 其他數(shù)據(jù)庫的連接語法
String url = env.getProperty(url_key);
String username = env.getProperty(username_key);
String pwd = env.getProperty(pwd_key);
if(username != null && !"".equals(username)) {
url += ("?user=" + username);
if(pwd != null && !"".equals(pwd)) {
url += ("&password=" + pwd);
}
}
conn = DriverManager.getConnection(url);
}
return conn;
}
//提供jdbc關(guān)閉連接的方法
public void close(ResultSet rs,Statement st,Connection conn){
try {
if(rs!=null)
rs.close();
if(st!=null)
st.close();
if(conn!=null)
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
最后的工作便是在文件目錄存放相應(yīng)的數(shù)據(jù)文件，然后通過配置文件配置好文件名、表名以及數(shù)據(jù)庫連接的基本信息后，運行程序入口，便可以將程序跑起來啦。但是在這個過程中也遇到一些小問題，比如，我這邊只有一個100w條數(shù)據(jù)的.csv格式的文件，但是要求讀取十個文件，在這個時候我用到了一個小工具：
大家知道.csv格式的文件也可以用Excel軟件打開，所以在這里轉(zhuǎn)換一下用Excel分割器把文件分成十份，就完美的解決問題啦。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Java實現(xiàn)茶葉售賣商城系統(tǒng)(java+SSM+JSP+EasyUi+mysql)
這篇文章主要介紹了基于SSM框架實現(xiàn)的一個茶葉售賣商城系統(tǒng)，應(yīng)用到的技術(shù)有Jsp、SSM 、EasyUi，文中的示例代碼具有一定的學(xué)習(xí)價值，需要的朋友可以參考一下2021-12-12
很多朋友對驗證碼并不陌生，無論是申請賬號還是某些情況下登錄時都會要求輸入驗證碼。接下來通過本文給大家介紹java驗證碼制作的方法，感興趣的朋友一起學(xué)習(xí)吧2016-05-05
Java如何自定義類數(shù)組的創(chuàng)建和初始化
這篇文章主要介紹了Java如何自定義類數(shù)組的創(chuàng)建和初始化，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-10-10
Java實現(xiàn)統(tǒng)計文件夾下所有文件的字?jǐn)?shù)
這篇文章主要為大家詳細(xì)介紹了如何使用Java實現(xiàn)統(tǒng)計文件夾下所有文件的字?jǐn)?shù),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-03-03
這篇文章主要為大家介紹了Seata?AT模式啟動過程圖文示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-09-09
Redis 訂閱發(fā)布_Jedis實現(xiàn)方法
下面小編就為大家?guī)硪黄猂edis 訂閱發(fā)布_Jedis實現(xiàn)方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
淺談Java中SimpleDateFormat 多線程不安全原因
SimpleDateFormat是Java中用于日期時間格式化的一個類,本文主要介紹了淺談Java中SimpleDateFormat 多線程不安全原因,感興趣的可以了解一下2024-01-01
Java 實戰(zhàn)項目之誠途旅游系統(tǒng)的實現(xiàn)流程
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用java+SpringBoot+Vue+maven+Mysql實現(xiàn)一個精美的物流管理系統(tǒng),大家可以在過程中查缺補漏，提升水平2021-11-11
這篇文章主要介紹了Spring Boot 直接用jar運行項目的方法，非常不錯，具有參考借鑒價值，需要的朋友參考下2018-02-02
Mybatis實現(xiàn)分包定義數(shù)據(jù)庫的原理與過程
這篇文章主要給大家介紹了關(guān)于Mybatis實現(xiàn)分包定義數(shù)據(jù)庫的原理與過程,文中通過實例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2022-01-01