特徴点の抽出とCSVファイルへの書き出し detectAndCompute()

画像から特徴点を抽出し、特徴点を画像およびCSVファイルに書き出す方法を紹介します。
開発環境はjupyter notebook、言語はpythonです。
今回使用した画像・コード一式はgoogle driveにも保存しておりますので、必要に応じてお使いください。

作成したコード

#モジュールのインポート
import cv2
import glob
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import os
%matplotlib inline

akaze = cv2.AKAZE_create() 

filepath = glob.glob("*.jpg")
for num in range(len(filepath)):
    img = cv2.imread(filepath[num])
    kp, des = akaze.detectAndCompute(img, None)
    df = pd.DataFrame(columns=['x', 'y', 'size', 'angle','response','octave','class_id'])  
    for i in range(len(kp)):
        df.loc["kp"+str(i)] = [kp[i].pt[0],kp[i].pt[1],kp[i].size,kp[i].angle,kp[i].response,kp[i].octave,kp[i].class_id]
    df.to_csv("key point"+"_"+os.path.split(filepath[num])[1][:-4]+".csv")
    img_key = cv2.drawKeypoints(img, kp, None,color=(0,0,255), flags=4)
    cv2.imwrite(os.path.split(filepath[num])[1][:-4]+"_keypoint.png",img_key)

処理の解説

1.検出器の生成

特徴点を検出する際は、以下のコマンドで特徴点の検出器を生成する必要があります。

akaze = cv2.AKAZE_create() 

今回はakazeを用いていますが、他にもORBなど様々な検出器があるので、速度や精度を考慮して好きなものを選んでいただければと思います。
個々の手法と検出結果についてはまた記事にしたいと思います。

2.特徴点の検出

次にcv2.imread()で読み込んだ画像imgに対して、以下のコマンドで特徴点の検出を行います。

kp, des = akaze.detectAndCompute(img, None)

第一引数のkp(key point)には特徴点の座標等の情報が、第二引数des(feature descriptor)には特徴量記述子の情報が格納されています。

今回はこのkp内の情報を特徴点ごとに取りだして、pandasのデータフレームに追加する処理を実行します。

df = pd.DataFrame(columns=['x', 'y', 'size', 'angle','response','octave','class_id'])  
    for i in range(len(kp)):
        df.loc["kp"+str(i)] = [kp[i].pt[0],kp[i].pt[1],kp[i].size,kp[i].angle,kp[i].response,kp[i].octave,kp[i].class_id]

ここで取り出している情報は次の表のものになります。

Parameter	Detail
.pt[0]	特徴点のX座標
.pt[1]	特徴点のY座標
.size	特徴点の直径
.angle	特徴点の向きの角度
.response	特徴点の強度
.octave	特徴点が抽出された際のピラミッドオクターブ
.class_id	オブジェクトのID

なお、表の情報を画像上で示すと以下のようになります。

df.to_csv()によって書き出されたcsvファイルは次のようになっています。

	x	y	size	angle	response	octave	class_id
kp0	935.688	152.9664	4.8	293.3584	0.001318	0	0
kp1	900.9185	190.9669	4.8	199.4941	0.003491	0	0
kp2	1183.601	203.1086	4.8	284.4925	0.001113	0	0
kp3	885.3304	204.4991	4.8	18.88364	0.001308	0	0
kp4	1164.229	223.4729	4.8	46.33557	0.001292	0	0
kp5	1108.216	224.9554	4.8	103.8782	0.001323	0	0
kp6	885.7973	226.6405	4.8	193.1736	0.003936	0	0
kp7	1112.51	229.5134	4.8	113.0288	0.001839	0	0
kp8	884.2508	232.8286	4.8	195.1544	0.002851	0	0
kp9	851.7514	242.2913	4.8	203.1826	0.001009	0	0
kp10	881.5363	242.0423	4.8	197.6628	0.001685	0	0

今回は１０点ほどの特徴点を抜粋していますが、何千何万といった単位で特徴点が抽出されます。

3.特徴点の書き出し

最終的に元の画像上に特徴点を書き出します。

img_key = cv2.drawKeypoints(img, kp, None, color=(255,0,0),flags=4)

この時flagsの値を0に変更することで特徴点の記述方法を変更することができます。

またcolorを今回はcolor=(0,0,255)としていますが、指定をしない場合は無作為にカラフルな色付けが行われます。

今回は以上になります。
幾何学的な形状のものの方が分かりやすいかと思い、ルービックキューブの画像にしましたが、そんなに分かりやすいものでもありませんでした。

特徴点のマッチングは次回紹介します。