推論アクセラレータ

概要

推論アクセラレータ（Inference Accelerator）とは、機械学習・ディープラーニングモデルの推論処理を汎用CPUより高速かつ省電力に実行するために設計された専用ハードウェアの総称です。NPU（Neural Processing Unit）・Edge TPU・AI Engine・VPU（Vision Processing Unit）などがこのカテゴリに含まれます。

AIの演算の多くは行列積（GEMM）やたたみ込み演算（Conv2D）であり、これらは同じ演算を大量のデータに並列で適用する「データ並列性」の高い処理です。推論アクセラレータは、このようなAI特有の演算パターンに最適化されたアーキテクチャ・メモリ配置・データ経路を持ちます。

ハードウェア	特徴	消費電力	TOPS目安
汎用CPU	汎用・AI非効率	高	低（0.01〜0.5 TOPS）
GPU	並列・電力大	高（10W〜数kW）	10〜数百TOPS
NPU（エッジ）	AI専用・省電力	低（mW〜数W）	0.1〜32 TOPS
Edge TPU	Google開発・INT8	2W	4 TOPS
FPGA	再構成可能・柔軟	数W〜数十W	タスク依存
DSP	信号処理と兼用	低	0.1〜数TOPS

TOPSはTera Operations Per Secondの略で、1秒間に1兆回の演算能力を意味します。INT8演算での値が多く記載されるため、FP32での性能と混同しないよう注意が必要です。

歴史・背景

推論アクセラレータの歴史は、AIの計算ニーズとムーアの法則の限界が交差した2016年頃から急加速します。

発展の経緯：

年	出来事
2016年	Google TPU v1（クラウド向け）内部公開
2017年	Intel NervanaおよびMovidius Myriad X（VPU）発表
2018年	Google Edge TPU（Coral）発表
2018年	Arm Machine Learning Processor（後のEthos）発表
2019年	Apple Neural Engine（A12 Bionic）でNPUを民生品に普及
2020年	NVIDIA Jetson AGX Xavier（32 TOPS）、組み込み最高性能
2021年	Arm Ethos-U55/U65 MCU向けNPU量産開始
2022年	Apple M2チップの Neural Engine（15.8 TOPS）がPCに普及
2023年	STM32N6（Cortex-M55 + Ethos-U65 統合MCU）登場
2024年	NPUを内蔵したPC向けSoC（Intel Meteor Lake等）が標準化

技術仕様

NPUのアーキテクチャ原理

NPUの中核は脈動配列（Systolic Array）またはデータフローアーキテクチャです。行列積演算を特化した回路で、データが配列内を波（脈動）のように流れながら積和演算を行います。

脈動配列の概念図（4×4の例）:

入力データ →  [PE][PE][PE][PE]  → 部分和
             [PE][PE][PE][PE]
重みデータ ↓ [PE][PE][PE][PE]
             [PE][PE][PE][PE]

PE = Processing Element（積和演算器1個）
全PEが同時並列に動作 → 汎用CPUの数十〜数百倍の演算効率

主要推論アクセラレータ比較

エッジAI向けハードウェア：

製品	メーカー	TOPS	消費電力	対応精度	価格帯
Coral Edge TPU	Google	4 TOPS	2W	INT8のみ	数千円
Jetson Nano	NVIDIA	472 GFLOPS	5〜10W	FP16/INT8	数千〜数万円
Jetson Orin Nano	NVIDIA	40 TOPS	7〜15W	INT8	数万円
Jetson AGX Orin	NVIDIA	275 TOPS	15〜60W	INT8/FP16	数十万円
Intel Neural Stick 2	Intel	4 TOPS	2.5W	FP16	数千円
Hailo-8	Hailo	26 TOPS	2.5W	INT8	数万円
RK3588（NPU）	Rockchip	6 TOPS	低	INT4/8/16	組み込み向け

MCU内蔵NPU：

製品	メーカー	NPU性能	消費電力
STM32N6	STMicro	600 GMAC（Ethos-U65）	数十mW
Kendryte K210	Canaan	1 TOPS	300mW
MAX78000	Maxim	低	超低消費電力
Ambiq Apollo510	Ambiq	低	μW級

TOPS（演算性能）の注意点

推論アクセラレータの比較でよく使われるTOPSには注意が必要です。

TOPS値の落とし穴:

1. データ型依存
   同じハードウェアでも:
   INT8: 100 TOPS
   FP16: 50 TOPS  
   FP32: 25 TOPS
   （INT8が最も高い値になる）

2. ピーク値と実効値の乖離
   ピーク性能 ≠ 実際のモデル推論性能
   実効利用率: 30〜70%が一般的

3. モデル依存
   大きいモデル → メモリ帯域律速 → TOPS値より遅くなる
   小さいモデル → 演算器が遊ぶ → TOPS値より遅くなる

4. 比較時の要点
   同データ型・同モデルでの実測値で比較することが重要

動作原理

デリゲーション（Delegate）による加速

TFLiteやONNX Runtimeでは、演算を推論アクセラレータにオフロードするデリゲートAPI（委譲機構）が提供されています。

import tflite_runtime.interpreter as tflite

# Coral Edge TPU デリゲート使用例
try:
    delegate = tflite.load_delegate('libedgetpu.so.1')
    interpreter = tflite.Interpreter(
        model_path='model_edgetpu.tflite',  # Edge TPU向け変換済み
        experimental_delegates=[delegate]
    )
    print("Edge TPU デリゲート: 有効")
except Exception as e:
    # Edge TPUが見つからない場合はCPUフォールバック
    interpreter = tflite.Interpreter(model_path='model.tflite')
    print(f"CPUフォールバック: {e}")

interpreter.allocate_tensors()

# 推論（デリゲート内部でEdge TPUが自動的に使用される）
interpreter.set_tensor(input_idx, input_data)
interpreter.invoke()  # この中でEdge TPUが動作
result = interpreter.get_tensor(output_idx)

Coral Edge TPU向けモデル変換

Edge TPUはINT8量子化モデルのみ対応し、専用の変換ツールが必要です。

# Step 1: TFLite INT8量子化モデルを作成
python quantize_model.py \
  --model saved_model/ \
  --output model_int8.tflite

# Step 2: Edge TPU Compilerでコンパイル
# （対応演算のみEdge TPU、残りはCPU実行）
edgetpu_compiler model_int8.tflite

# 出力: model_int8_edgetpu.tflite
# 変換ログの確認が重要:
# "X operations will run on the Edge TPU, 
#  Y operations will run on the CPU."

NVIDIA Jetsonでの推論（TensorRT）

import tensorrt as trt
import pycuda.driver as cuda
import pycuda.autoinit
import numpy as np

TRT_LOGGER = trt.Logger(trt.Logger.WARNING)

def build_engine_from_onnx(onnx_file, fp16_mode=True):
    """ONNXモデルからTensorRTエンジンを構築"""
    with trt.Builder(TRT_LOGGER) as builder, \
         builder.create_network(
             1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)
         ) as network, \
         trt.OnnxParser(network, TRT_LOGGER) as parser:
        
        config = builder.create_builder_config()
        config.max_workspace_size = 1 << 30  # 1GB
        
        if fp16_mode:
            config.set_flag(trt.BuilderFlag.FP16)
        
        with open(onnx_file, 'rb') as f:
            parser.parse(f.read())
        
        engine = builder.build_engine(network, config)
        
        # エンジンをファイルに保存
        with open('model.engine', 'wb') as f:
            f.write(engine.serialize())
        
        return engine

def run_inference(engine, input_data):
    """TensorRTで推論を実行"""
    context = engine.create_execution_context()
    
    # GPU メモリ確保
    input_buf = cuda.mem_alloc(input_data.nbytes)
    output_shape = (1, 1000)  # 例: ImageNet分類
    output_data = np.empty(output_shape, dtype=np.float32)
    output_buf = cuda.mem_alloc(output_data.nbytes)
    
    # CPU → GPU転送
    cuda.memcpy_htod(input_buf, input_data)
    
    # 推論実行
    context.execute_v2(bindings=[int(input_buf), int(output_buf)])
    
    # GPU → CPU転送
    cuda.memcpy_dtoh(output_data, output_buf)
    
    return output_data

ARM Cortex-M + Ethos-U NPUの統合

// STM32N6（Cortex-M55 + Ethos-U65）での推論
// Ethos-U NPUはTFLite Microのデリゲートとして動作

#include "ethosu_driver.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "model_data.h"

// Ethos-U NPUドライバを初期化
struct ethosu_driver ethosu_drv;
void setup_ethosu(void) {
    ethosu_init(
        &ethosu_drv,
        (void*)0x48102000,  // NPUのベースアドレス（デバイス依存）
        NULL, 0,
        1, 0
    );
}

// TFLite MicroにEthos-Uデリゲートを組み込む
tflite::MicroMutableOpResolver<1> resolver;
// Ethos-U対応演算はNPUで自動実行される
resolver.AddEthosU();

// 以降は通常のTFLite Micro推論と同様
tflite::MicroInterpreter interpreter(
    tflite::GetModel(g_model_data),
    resolver, tensor_arena, kTensorArenaSize
);
interpreter.AllocateTensors();
interpreter.Invoke();  // NPUが高速実行

用途・ユースケース

産業用カメラ・マシンビジョン

高速な外観検査が必要な生産ラインでは、以下のような構成が採用されます。

カメラ（GigE Vision / USB3 Vision）
         ↓ 画像取得
NVIDIA Jetson Orin / Hailo-8搭載ボード
  ├── 画像前処理（GPU/DSP）
  ├── DNN推論（NPU/GPU: 10ms以下）
  └── 判定・結果出力
         ↓
PLC・上位システムへ検査結果送信

スマートカメラ・ネットワークカメラ

IP監視カメラに推論アクセラレータを内蔵し、映像をストリームするのではなくメタデータ（検出結果）のみを送信します。これにより帯域を1/100以下に削減できます。

農業・屋外用途

日本の農業機械・ドローン向けには以下のような要件があります。

要求	対応技術
広温度範囲（-20〜85℃）	車載グレードNPU
防塵・防水（IP67等）	堅牢なエンクロージャ
低消費電力（バッテリー）	省電力NPU（数W以下）
リアルタイム（1秒以内）	エッジ推論（クラウド不要）

実装・開発のポイント

NPU対応モデルの設計制約

NPUには対応演算の制約があり、非対応演算は自動的にCPUにフォールバックします。

Ethos-U55が対応するTFLite演算子（主要なもの）:
○ Conv2D（INT8量子化）
○ DepthwiseConv2D
○ MaxPool2D / AveragePool2D
○ FullyConnected
○ Add / Mul
○ Reshape / Softmax

× 非対応（CPUフォールバック）:
× Transpose（一部）
× Complex activation functions
× Dynamic shapes

モデル設計時から対応演算のみを使うことで、NPUの性能を最大限に引き出せます。

ベンチマーク手法

# Coral Edge TPU でのベンチマーク
python3 -c "
import time
import tflite_runtime.interpreter as tflite
import numpy as np

delegate = tflite.load_delegate('libedgetpu.so.1')
interp = tflite.Interpreter('model_edgetpu.tflite',
                             experimental_delegates=[delegate])
interp.allocate_tensors()

input_details = interp.get_input_details()
dummy_input = np.zeros(input_details[0]['shape'],
                        dtype=np.uint8)

# ウォームアップ
for _ in range(10):
    interp.set_tensor(input_details[0]['index'], dummy_input)
    interp.invoke()

# 実測
N = 100
start = time.perf_counter()
for _ in range(N):
    interp.set_tensor(input_details[0]['index'], dummy_input)
    interp.invoke()
elapsed = time.perf_counter() - start

print(f'平均推論時間: {elapsed/N*1000:.2f}ms')
print(f'スループット: {N/elapsed:.1f} FPS')
"

他技術との比較

比較軸	NPU（エッジ）	GPU（PC/サーバー）	CPU	FPGA
AI推論効率	最高	高	低	タスク依存
汎用性	低（AI専用）	高	最高	高（再構成可能）
消費電力	最低（mW〜数W）	高（100W〜）	中	中（数W〜）
開発容易性	中（SDK次第）	高	最高	低
コスト	低（SoC統合）	高	低	中〜高
リアルタイム性	決定論的	非決定論的	決定論的	最高（HW実装）

推論アクセラレータはエッジAIシステムのパフォーマンスを決定する重要なコンポーネントです。NPU・組み込みGPU・NVIDIA Jetson・DSP・FPGAなど多様な選択肢があり、要求性能・消費電力・コスト・開発容易性を総合的に評価して選定します。量子化・TensorFlow Lite・ONNXとの連携により、性能を最大限に引き出すことができます。

概要