前回、CIFAR-10の画像データを試しに1枚表示してみました。
今後、この素晴らしいデータ群を、より応用的に参照できるようにするために、データの形式をより詳しく知りたいと思います。
格納されているデータの種類は？
CIFAR-10をチュートリアル通りにロードすると、辞書形式で取得することができます。
取得した辞書形式のデータdictから、キーの一覧をまず表示してみます。
|
1 2 3 4 5 6 7 8 9 10 |
def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict dict = unpickle('data_batch_1') #キー項目を列挙する print(dict.keys()) |
結果はこのようになります。
どうやら、このデータは
- b’batch_label’
- b’labels’
- b’data’
- b’filenames’
の四つのカテゴリに分かれているようです。
b’batch_label’のデータ
一つ目のデータb’batch_label’の内容を表示してみましょう。
|
1 2 3 4 5 6 7 8 9 10 |
def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict dict = unpickle('data_batch_1') #キー項目 b'batch_label' のデータを表示する print(dict[b'batch_label']) |
“training batch 1 of 5″という文字列が得られました。これはデータファイルそのものの簡単な説明であるようです。
b’labels’のデータ
今度は二つ目のデータであるb’labels’の内容を表示してみます。個々のイメージデータが何であるかを示すラベルであることが予測できるので、まずはサイズを確認し、データを表示してみます。
|
1 2 3 4 5 6 7 8 9 10 11 |
def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict dict = unpickle('data_batch_1') #キー項目 b'labels' のデータを表示する print(len(dict[b'labels'])) print(dict[b'labels']) |
結果はこのように表示されました。データの総数は10,000個で、ラベルが整数型の配列で格納されているのがわかります。
6=蛙、9=トラック、9=トラック、4=鹿、・・・と続いているようですね。
b’data’のデータ
さらに三つ目のデータであるb’data’の内容を表示してみます。今度は個々のイメージデータが配列で格納されていることが予測できるので、行列の形状を確認したのちに、データを表示してみます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import numpy as np def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict dict = unpickle('data_batch_1') #キー項目 b'data' のデータを表示する print(np.array(dict[b'data']).shape) print(dict[b'data']) |
結果はこんな感じ。3072個の要素を持つデータが10,000個格納されているのがわかります。
b’filenames’のデータ
最後に四つ目のデータであるb’filenames’の内容を見てみます。こちらも件数と個々のデータの両方を表示してみます。
|
1 2 3 4 5 6 7 8 9 10 11 |
def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict dict = unpickle('data_batch_1') #キー項目 b'filenames' のデータを表示する print(len(dict[b'filenames'])) print(dict[b'filenames']) |
結果を見ると、個々の画像データの具体的なファイル名であるらしいことがわかります。
まとめ
CIFAR-10のデータから、”data_batch_1″のデータ形式を見てみました。この結果、
- ラベルは b’labels’
- データは b’data’
にそれぞれ格納されていることがわかりました。
実際の機械学習では、この二つを学習させていくことになるでしょう。
