Sqlite3

Sqlite3常用在移動端或者嵌入式設備開發中，經常擔任數據持久化存儲的作用，區別于MySQL，SQLServer等一些主流的數據庫，Sqlite更顯輕薄，運行速度更快，但是作為關系型數據庫，Sqlite數據庫和MySQL數據庫等都對插入查詢方式的不同而產生不同的效率，通過這篇博客，我們來側重分析對于大量數據插入的效率帶來的效率問題.(數據量達到千萬級或者億級別)

優化策略(默認采用user表)

name	age
TEXT	INTEGER

我們先從插入語句入手逐步向數據庫優化進發。

1. 優化策略一: 插入語句的書寫方式
   (1)在測試時候,為了方便我們將下面這條插入SQL語句采用for循環方式進行插入到數據庫

INSERT INTO user(name,age) VALUES ('CreaterOS','21')；

for(NSUInteger i = 0; i < 10000000; i++){
//省略執行語句,直接寫插入語句，代表插入過程
	INSERT INTO user(name,age) VALUES ('CreaterOS','21')；
}

這樣的插入方式,相當于是逐條寫入數據庫中,在Xcode根據內存和時間測試,我們來觀察一下，這樣的效率會有多低。

我們觀察到耗時兩分鐘左右都還沒有完全插入完成，并且內存會逐漸上升，根據實際測試，當達到11min左右，內存會增長到5GB～15GB不等，根據機器和中間做的處理不同會有不同的成功。不過,出現這種問題，我們能分析趨勢，插入時間長，內存逐漸增加，直到內存溢出。
(2) 采用一條語句多條插入操作

INSERT INTO user(name,age) VALUES ('CreaterOS','21'),('CreaterOS','21')...；

這里面的數據量是一條語句插入大概一萬六千條數據，為了快速營造一千六百萬條數據，這里面還是不合法的使用循環操作。

for(NSUInteger i = 0; i < 1000; i++){
	INSERT INTO user(name,age) VALUES ('CreaterOS','21'),('CreaterOS','21')...；
}

及時這樣使用使用循環，效率也會提高很多，假設使用一條語句直接插入一千六百萬數據的效率可想而知，是最快的。
我們來看一下Xcode在上面這樣插入的表現情況:

我們用計算器測算一下耗時是0.06毫秒,假設一條語句插入一千六百萬數據，那樣的效率會是這個的好幾十倍。

根據上面兩組測試，我們發現了第一個優化策略。

逐行插入的效率遠遠低于多行插入

開發中，我們盡量多些多行插入，避免出現逐行插入的操作。
2. 優化策略二: 插入數據庫大小導致內存溢出
上面我們已經插入了一千六百萬的數據量，觀察一下，此時的數據庫大小。

一千六百萬條數據一個表，導致內存大小為704.7MB。
看到這里，我們考慮一下Sqlite3操作數據庫插入操作，雖然效率會比文件更高，但是，還是從硬盤上不斷的讀寫操作，對大文件持續讀寫，會增加內存的增加，怎么解決這個問題，是我們需要關心優化的問題。
小編測試，加入緩存池可以降低內存消耗。插入操作，到底是如何執行的，我們來看一下這個文件，一切就云開霧散了。

這是在插入過程中，數據被鎖住(locked)后，會不斷生成journal文件，通過這個文件不斷寫入數據庫中，這樣不間斷的寫入讀取，就增加了內存消耗。
3. 優化策略三: 修改數據庫配置
FULL,NORMAL,OFF對應數據庫三種操作。

PRAGMA synchronous = FULL;
PRAGMA synchronous = NORMAL;
PRAGMA synchronous = OFF;

這三個語句，默認Sqlite使用FULL方式，這個是最安全的操作，也是最耗時的操作。
假設不為回滾日志考慮，同步鎖我們可以關閉或者降低安全等級。在前面博主寫的文章中分析了提升效率。

NORMAL	OFF
50倍+	500倍+

可是，小編做了測試，時間上相差不多,基本上都是0.06毫秒,出現這樣的問題不排除數據量過小，或者循環導致,當我們把數據量增加到四億或者十億的時候，這個差距就更加明顯了。
4. 優化策略四: 開起事務(顯示事務)

BEGAIN
COMMIT
ROLLBACK

上面三種情況都是在，開起事務中進行操作的。事務可以保證插入數據的安全。Sqlite3中每一條插入語句就是一個事務(默認)。假設我們不顯示調用，那么事務鎖就會不斷的開起和關閉，這對于資源消耗是毀滅性的打擊。
顯示調用事務可以有效的加快運行效率。

BEGAIN
INSERT INTO user(name,age) VALUES ('CreaterOS','21'),('CreaterOS','21')...；
COMMIT
ROLLBACK

通過這樣的方式，可以取消Sqlite3默認的事務鎖。從而提高效率。
5.優化策略五: 修改Sqlite WAL

改變 checkpoint。我們在把 checkpoint 改成了10000（默認是1000），checkpoint = 1000 是
日志文件 1M 的時候回寫到數據庫，改成 10000 就變成了 日志文件 10M 時回寫數據到數據庫。 demo測試性能，有2倍+的提升

PRAGMA checkpoint = 10000；

這個方法也是很有效的一種日志回寫策略。
6…優化策略六: PRAGMA修改cache_size

PRAGMA cache_size = 8000；

修改緩存大小來提高性能，具體情況可以根據不同業務邏輯，安全性考慮進行插入優化。

總結

通過上面六點我們已經進行了Sqlite3數據庫插入優化，并且每種優化策略是實際測試有效的,假設大家還有更好的優化策略，可以在評論區留言一起分析數據庫性能優化的那些事。