Intel donanımı üzerinde derin öğrenme modellerini optimize et ve dağıt
Eğitilmiş modelleri ara bir formata dönüştürün ve CPU'lar, GPU'lar ve NPU'lar ile Model Optimizer ve Inference Engine ile yüksek performanslı çıkarım gerçekleştirin. Intel Corporation, masaüstü ve kenar geliştirme için bu açık kaynaklı araç setini, Python ve C++ API'leri ve Visual Studio entegrasyonu ile sağlar. TensorFlow, PyTorch, ONNX, Keras ve PaddlePaddle'ı destekler ve kuantizasyon ile GenAI dağıtım araçlarını içerir. Araç seti, düşük gecikme süresi ve yüksek verimlilikte çıkarım için Intel tabanlı donanıma odaklanan AI geliştiricileri ve mühendisleri için uygundur.
OpenVINO, dağıtılan modeller için ne yapar?
OpenVINO, modelleri dönüştürür ve hazırlar ve Model Optimizer kullanarak TensorFlow, PyTorch, ONNX, Keras ve PaddlePaddle belgelerini Ara Temsile çevirmek için çalışır. Ayrıca, Sinir Ağı Sıkıştırma Çerçevesi, model boyutunu azaltmak için kuantizasyon ve diğer optimizasyonları uygular. Ardından, Çıkarım Motoru bu IR dosyalarını desteklenen Intel işlemcileri ve grafiklerinde çalıştırır, bu da aynı dönüştürülmüş modelin farklı Intel cihazlarında çalışmasını sağlar.
Çıkarım sırasında sistem performansını etkiler mi?
Araç seti, yürütmeyi mevcut en iyi Intel cihazına yönlendirir böylece CPU, entegre veya ayrık GPU veya NPU çıkarım yapabilir. Intel Core, Xeon, Atom işlemcileri ve Arc, UHD veya Iris Xe grafik desteği açıktır ve Çıkarım Motoru, çalışma zamanında gecikmeyi azaltmak ve verimliliği artırmak için cihaza uygun ilkelere hedefler. Geliştiriciler, CPU yükünü dengelemek ve hızlandırıcı kullanımını ayarlamak için cihaz spesifik arka uçları seçebilirler.
Üretim ortamları için güvenli ve yönetilebilir mi?
OpenVINO, açık kaynak lisansı altında çalışır ve geliştirici iş akışlarıyla entegre olur Python ve C++ API'leri ve Visual Studio bağlantıları aracılığıyla. Araç seti, yürütmeden önce model dönüştürme ve optimizasyon adımları sağlar, bu da çalışma zamanında üretim ikili dosyalarını değiştirme ihtiyacını azaltır. Open Model Zoo, önceden eğitilmiş modeller sağlar ve OpenVINO GenAI, ekiplerin test edilmemiş model ikili dosyalarını doğrudan dağıtmak yerine onaylanmış varlıkları yeniden kullanmalarını sağlayan üretken modeller için boru hatları ekler.
Intel odaklı AI ekipleri için uygundur; model ve dağıtım bilgisi gerektirir
Bu araç seti, Intel donanımında yüksek performanslı çıkarım elde etmesi gereken ve model dönüştürme adımları ile cihaz seçimi üzerinde çalışabilen geliştiriciler ve veri bilimcileri için uygundur. Tek bir uyarı: model optimizasyon iş akışlarına aşina olmayan ekipler, sürecin modelleri IR formatına dönüştürmeyi ve dağıtımdan önce sıkıştırma adımlarını uygulamayı gerektirmesi nedeniyle bir öğrenme eğrisi ile karşılaşacaktır.
