InfiniDBのデータサイズメモ

ロード前の.tsvファイルの情報。

$ ls | wc
    457     457   13531

$ du -sh .
8.4G    .

$ gzip -l *.gz | sort -k 3 -n | head -2
         compressed        uncompressed  ratio uncompressed_name
            8828777            65857744  86.6% hogelog.tsv

$ gzip -l *.gz | sort -k 3 -nr | head -2
            7788996           179347671  95.7% hogelog.tsv
            7507164           173335810  95.7% hogelog.tsv

$ gzip -l *.gz | awk '{compressed += $1; uncompressed += $2}END{printf("%d\t%d\n", compressed, uncompressed)}'
17863413934     237716864426

非圧縮で200GB、平均すると圧縮率は92.5%…って、compressedの合計とduの結果合わないけどまあいいや。。


これを1テーブルにまとめてInfiniDBに突っ込んだ結果。

mysql> SHOW GLOBAL VARIABLES LIKE '%version%';
+-------------------------+------------------+
| Variable_name           | Value            |
+-------------------------+------------------+
| protocol_version        | 10               |
| version                 | 5.1.73           |
| version_comment         | InfiniDB 4.6.0-1 |
| version_compile_machine | x86_64           |
| version_compile_os      | redhat-linux-gnu |
+-------------------------+------------------+
5 rows in set (0.00 sec)

mysql> SELECT COUNT(*) FROM hogelog;
+------------+
| COUNT(*)   |
+------------+
| 1083798201 |
+------------+
1 row in set (11.26 sec)

mysql> SHOW TABLE STATUS\G
*************************** 1. row ***************************
           Name: hogelog
         Engine: InfiniDB
        Version: 10
     Row_format: Dynamic
           Rows: 2000
 Avg_row_length: 0
    Data_length: 0
Max_data_length: 0
   Index_length: 0
      Data_free: 0
 Auto_increment: NULL
    Create_time: NULL
    Update_time: NULL
     Check_time: NULL
      Collation: utf8_general_ci
       Checksum: NULL
 Create_options:
        Comment:
1 row in set (0.00 sec)

# pwd
/usr/local/Calpont

# ll
total 64
-rw-r--r-- 1 root  root  17984 Jul  3 05:50 COPYING
drwxr-xr-x 2 root  root   4096 Sep 12 14:32 bin
drwxr-xr-x 3 root  root   4096 Sep 12 14:32 data
drwxrwxrwt 5 root  root   4096 Sep 12 16:18 data1
drwxrwxrwt 2 root  root   4096 Sep 22 04:02 etc
drwxr-xr-x 2 root  root   4096 Sep 12 14:33 lib
drwxr-xr-x 3 root  root   4096 Sep 12 14:34 local
drwxr-xr-x 7 mysql mysql  4096 Sep 20 16:26 mysql
drwxr-xr-x 2 root  root   4096 Sep 12 14:32 post
-rw-r--r-- 1 root  root     28 Jul  3 05:50 releasenum
drwxr-xr-x 2 root  root   4096 Sep 12 14:32 sbin
drwxr-xr-x 3 root  root   4096 Sep 12 14:32 share

# du -sh .
34G     .

# du -sh *
20K     COPYING
23M     bin
5.0M    data
33G     data1
212K    etc
30M     lib
80K     local
105M    mysql
24K     post
4.0K    releasenum
116K    sbin
1.4M    share

# ll data1
total 4198416
drwxr-xr-x 3 root root       4096 Sep 12 14:36 000.dir
-rw-r--r-- 1 root root          0 Sep 16 18:07 OAMdbrootCheck
drwxr-xr-x 2 root root       4096 Sep 22 13:11 bulkRollback
drwxrwxrwt 4 root root       4096 Sep 12 14:32 systemFiles
-rw-r--r-- 1 root root 4294967296 Sep 22 13:11 versionbuffer.cdf

…information_schemaが何の役にも立たないことはわかった。MySQLのdatadirの/usr/local/Calpont/mysql/dbはほとんど空っぽで、data1の下がデータ本体っぽい。VersionBufferっぽいものもここにある。
http://yoku0825.blogspot.jp/2014/09/infinidb-error-122-hy000-cal0006-idb.html


gzipped tsvの4倍くらい、非圧縮テキストファイルの1/6くらいか。ふむふむ。


【2014/09/22 16:16】
MyISAMでも試してみようと思いつつ、インデックスなしの状態で2/3くらい突っ込んだところで80GBに達したのでやめました。。