Autonomous UAV Navigation via Deep Reinforcement Learning Using PPO

Abstract

Bu çalışmada, otonom hareket edebilen insansız hava araçları (˙IHA) için bilgisayar görüsü tabanlı bir navigasyon sistemi önerilmektedir. Önerilen navigasyon sistemi yapay sinir ağı tabanlı yüksek seviyeli bir kontrolcüye dayalıdır. Bu çalışmada bir derin pekiştirmeli öğrenme yöntemi olan PPO (yakınsal politika optimizasyonu) algoritması kullanılarak yapay sinir ağının sürekli bir ödül fonksiyonu ile uçtan uca eğitilmesi sağlanmaktadır. Önerilen sistem, Unreal Engine ve Microsoft AirSim kullanılarak oluşturulan simülasyon ortamlarında farklı kamera modlarından alınan imge türleri için test edilmiştir. Bu çalışmada ele alınan navigasyon problemi için RGB kamera kullanılarak %96 başarı oranına ulaşılmıştır. RGB kameraların derinlik kameralarına göre daha hafif olması ve eğitilen yapay sinir ağının 170.000’den daha az parametreye sahip olması, önerilen navigasyon sisteminin mikro hava araçlarında kullanılmasını mümkün kılmaktadır. Kaynak kodları erişime açık olarak paylaşılmaktadır.

In this paper, a computer vision-based navigation system is proposed for autonomous unmanned aerial vehicles (UAV). The proposed navigation system is based on a deep reinforcement learning-based high-level controller. In this paper, proximal policy optimization (PPO), which is a deep reinforcement learning method, is used to train the artificial neural network in an end-to-end way using a continuous reward function. The proposed method has been tested on images obtained from different modalities (RGB and depth) in simulation environments that are created using Unreal Engine and Microsoft AirSim. For the navigation problem that this work is concerned with, a success rate of 96% has been obtained by using RGB cameras. Since RGB cameras are lighter than depth cameras and the trained artificial neural network has a parameter number less than 170.000, the proposed method is suitable to be deployed in micro aerial vehicles. Code is publicly available