Оптимизация

ONNX Runtime / TensorRT: с чего начать #3

TL;DR: Сначала профилируйте. Если узкие места — математика, пробуйте INT8/4; если I/O — кэш и батчинг; если фреймворк — компиляция графа.