1. 서 론

로봇은 농업, 의료, 제조 등 다양한 산업 분야에서 널리 활용되고 있으며 그 적용 범위 또한 계속해서 증가하고 있다[1-5]. 로봇은 군사 분야에서도 미래전장에 참여하는 주요 핵심 주체가 되어 감시 경계, 폭발물 처리, 부상자 구난, 수송 지원 등의 다양한 임무를 수행할 것으로 예상된다. 군집 로봇은 홀로 임무를 수행하는 단일 로봇과 달리 여러 대의 로봇이 함께 임무를 수행함으로써 단일 로봇에서는 수행하기 어렵거나 오랜 시간이 소요되었던 임무들을 보다 효율적으로 수행할 수 있다. 예를 들어 Hamed 등[6]은 늑대의 사냥 전략을 모방한 알고리즘을 통해 동적 객체 사냥을 위한 군집 로봇의 높은 성능을 증명하였으며, Xin 등[7]은 전장과 같이 사전 지식이 없던 불확실한 환경에서 군집 로봇의 강화학습을 통해 보다 효율적인 순찰을 가능하게 하였다.

군집 로봇은 다수의 로봇과 상호 작용해야 하는 군집의 근본적인 특성으로 인하여 단일 로봇과 비교하였을 때 상대적으로 방대한 데이터를 다룬다는 특징을 가진다. 예를 들어 군집 로봇은 임무 수행 시에 타 로봇과의 통신 문제, 물리적 충돌 문제 등과 같은 로봇 상호 간에 발생할 수 있는 문제를 고려해야 하며 이를 해결하기 위해서는 로봇 간의 지속적인 정보 교환이 필요하다[8, 9]. Table 1과 같이 로봇은 활동하기 위해 다양한 데이터를 주고 받으며 네트워크는 각 데이터의 요구사항을 충족시켜야 한다. 하지만 군집 임무에 참여하는 로봇의 개체 수가 증가할수록 교환 및 처리해야 하는 데이터의 양은 증가할 것이며 방대한 데이터로 인해 SW의 복잡도가 증가함에 따라 SW의 성능 검증은 점점 더 어려워진다.

HILS(Hardware-in-the-loop Simulation)는 검증 대상의 SW가 탑재된 HILS 장치와 시뮬레이션 내의 가상 모델과의 상호작용을 통해 임무 검증의 신뢰성을 높이는 방식의 시뮬레이션으로 로봇의 SW 검증에서도 널리 활용되어 왔다[12~17]. 하지만 군집 임무 수행 시 발생하는 방대한 데이터는 HILS 검증에서 심각한 문제를 야기한다. HILS 검증에서 가상 모델은 시뮬레이션 과정에서 생성된 데이터(ex. 카메라 데이터, 라이다 데이터)를 각각의 HILS 장치에게 전달해야 한다. 대표적으로 로봇이 수집하는 카메라 데이터는 해상도, 데이터 생성 속도에 따라 높은 대역폭을 가지게 되며 로봇의 수가 증가할수록 요구하는 대역폭은 방대해진다. 로봇 i가 전송하는 데이터의 크기를 [TeX:] $$\theta_i$$로 가정하였을 때 Fig. 1과 같이 로봇 수에 비례하여 증가하는 [TeX:] $$\theta_i$$의 합이 이더넷 최대 대역폭인 [TeX:] $$B_{\max }$$을 초과할 경우 데이터 충돌 및 혼잡이 발생하게 되며, 이 때 HILS 장치는 검증에 필요한 데이터를 전달받지 못하게 된다. 이로 인하여 임무 중심의 검증이 원활히 수행될 수 없게 되며 군집 로봇의 HILS 검증에서 발생하는 데이터 혼잡 문제를 해결하기 위한 새로운 접근법이 요구된다.

Fig. 1.

Problem of Multi HIL Simulation

디지털 트윈은 디지털 공간 내에 현실 세계의 물리 시스템을 모사한 가상의 객체를 생성하여 물리 시스템을 최적화할 수 있는 기술로 군집 로봇의 HILS 검증에서 발생하는 데이터 혼잡 문제를 해결할 기술 중 하나다. ICT 기술의 발전에 따라 다양한 물리 시스템이 디지털 트윈 기술을 통해 가상 공간에서 최적화되었으며 군집 로봇이나 네트워크 또한 디지털 트윈이 최적화할 대상이 될 수 있다. 네트워크의 디지털 쌍둥이인 Network DT(Network Digital Twin)은 현재의 네트워크 상태와 시뮬레이션에서 수행되는 로봇의 임무 시나리오를 모니터링할 수 있다. 임무 시나리오에 명세 된 임무는 적섬멸, 고지 점령 등과 같은 군집 로봇 전체가 수행하는 하나의 목적이 될 수 있으며 임무를 위해서 로봇은 객체 감지, 이동 등의 서로 다른 Task를 수행한다. 군집 로봇의 HILS 검증은 임무의 성능을 평가하기 위한 임무 중심의 검증이며 Network DT는 각 로봇이 맡고 있는 Task의 중요도에 따라 각각의 HILS 장치에게 네트워크 자원을 할당할 수 있다.

본 논문에서는 군집 로봇의 임무 검증을 위한 디지털 트윈 기반 통신 최적화 기법을 제안한다. 임무 검증 시 발생하는 데이터 혼잡 문제를 해결하기 위해 Network DT가 내재 된 Digital Twin based Multi HILS Framework를 설계하였으며 Task의 중요도에 따라 네트워크 자원을 효율적으로 할당하는 Network Controller 알고리즘을 제안하였다. 이를 통해 검증 대상이 되는 HILS 장치의 수가 증가하더라도 Task의 중요도를 중심으로 원활한 데이터 전송을 보장할 수 있다. 논문의 2장에서는 앞서 언급한 HILS와, 디지털 트윈 기술의 기존 연구 사례에 대하여 작성하였으며 3장에서는 Digital Twin based Multi HILS Framework와 Network Controller 알고리즘을 소개한다. 4장에서는 논문에서 제안한 알고리즘의 적용 이전과 이후의 결과를 비교하며 마지막 5장에서는 본 연구의 결론을 내린다.

2. 관련 연구

HILS는 항공 시뮬레이션, 자동차 개발 등과 같은 무인 로봇 분야의 검증에서 중요한 역할을 수행하였다[12]. HILS를 통하여 로봇 운동학적 모델 시뮬레이션 및 환경 시뮬레이션 등의 다양한 시뮬레이션을 통한 검증이 가능하며 [13], 지상, 공중, 해상 등의 다양한 환경에서의 검증이 가능하다[14-16]. 군집 로봇 HILS 검증의 예시로, Zhang 등[17]은 편대 비행, 교체와 같은 군집 UAV 제어 전략 테스트를 HILS를 통해 테스트하였다. HILS에 관한 대부분의 기존 연구들은 단순히 개발 결과물의 시뮬레이션 검증을 목적으로 하며 HILS 검증에서 발생하는 대용량 데이터를 고려하지 않는다.

2003년 그리브스가 제품 수명 주기 관리에 대해 처음 알린 디지털트윈은 물리적 시스템과 자연 환경의 디지털 복제품이다. 디지털 트윈은 제조업에서 유래되었지만, 현재 항공 우주, 에너지, 자동차, 해양, 석유, 농업, 의료, 공공 부문을 포함한 모든 산업에서 확산되어 활용되고 있다. 대표적인 연구 사례로써 Yun[18]은 재난 환경의 충실도 높은 시뮬레이션을 위하여 디지털 트윈을 활용하여 예측 오류를 감소시켰다. 또한 Rui Dong 등[19]은 MEC 시스템 내 URLLC 서비스의 에너지 소비를 고려한 리소스 할당 및 오프로딩의 최적화를 위하여 네트워크에 디지털 트윈 기술을 적용 시킨 바 있다. 그들의 디지털 트윈은 네트워크 환경 내에서 발생하는 에너지 소비, 지연 및 패킷 손실 확률을 계산할 수 있었으며 이를 통해 URLLC 서비스에서 발생하는 에너지 소비를 정규화된 에너지 소모 기준에 비해 87% 이상 감소시켰다.

3. 디지털 트윈 기반 멀티 HILS 프레임워크

본 논문의 Network DT는 시뮬레이션 내의 가상의 로봇이 발행하는 전체 데이터 크기가 이더넷의 최대 대역폭을 넘지 못하도록 Fig. 2와 같이 각 로봇에게 중요도에 따라 네트워크 자원을 할당하는 역할을 한다. 중요도는 임무 시나리오 상에서 특정 시간대에 로봇이 수행하는 Task의 중요도를 의미한다. 예를 들어 Robot1과 Robot2는 사람을 감시하고 있기에 높은 중요도를 가지며 나머지 로봇의 경우 단순한 이동을 수행하고 있기에 낮은 중요도로 정의될 수 있다. Fig. 3은 군집 로봇의 임무 검증 과정에서 발생하는 문제를 해결하기 위해서 본 논문에서 제시하는 Software Architecture이다. Robot 내에는 장애물 회피, 객체 탐지 등의 임무를 수행하는 Robot SW가 존재하며 시뮬레이터 내에는 논문에서 활용되는 Digital Twin으로 구성된 Digital Twin Pool과 Digital Twin이 실행 가능한 Functional Element로 구성되어 있다.

Fig. 2.

Proposed Digital Twin-based Multi HIL Simulation

Fig. 3.

Digital Twin based Multi HILS Framework

3.1 Digital Twin Pool

Digital Twin Pool 내에는 실제 로봇을 모사한 Robot DT와 네트워크를 모사한 Network DT로 구성되어 있다. Robot DT와 Network DT는 각각의 목적에 따라 정의되는 기능과 역할인 Behaviour와 센서로부터 수집된 물리 시스템의 상태 데이터와 분석 데이터가 저장되는 Attribute를 통해 동작하며 Global Attribute라고 하는 공동 Attribute을 참조할 수 있다.

1) Robot DT

Robot DT는 로봇의 검증 대상 SW를 최적화하기 위한 목적의 DT이다. 검증 대상 SW를 최적화하기 위해서는 시뮬레이션을 통한 검증이 선행적으로 필요하며 이 과정에서의 검증은 HILS 방식으로 수행된다. Robot DT는 Robot Monitoring을 통해 로봇의 센서 데이터, 로봇의 실제 사양, 로봇의 상태 데이터를 수집 및 모니터링하며 Task Executing을 통해 시나리오에서 정의된 임무를 수행하기 위한 Task를 실행한다. 다수의 Robot DT는 Functional Element에서 제공하는 기능들을 통해서 군집 시뮬레이션 및 가시화될 수 있다.

2) Network DT

Network DT는 군집 로봇의 HILS 검증 과정에서 발생하는 데이터 혼잡 문제를 해결하여 보다 효율적인 데이터 전송을 보장하기 위해 제안된다. Network DT는 Network Monitoring을 통해 네트워크의 상태를 수집 및 모니터링하며, Network Optimizing을 통해 네트워크를 최적화한다. Network Optimizing은 Functional Element에서 제공하는 Network Control FE를 통해 데이터 혼잡의 방지를 위하여 임무에서 중요하지 못한 로봇의 전송 주기를 조절함으로써 네트워크 자원을 각 로봇에게 할당한다.

3.2 Functional Element

Functional Element에는 각 목적에 따라 Digital Twin이 수행할 수 있는 Scenario Generation FE, Robot Simulation FE, Network Control FE, Visualization FE로 구성되어 있다.

1) Scenario Generation FE

Scenario Generation FE는 시뮬레이션에서 동작되는 일련의 임무를 명세한 Scenario Profile을 생성하여 시뮬레이션에게 제공하는 역할을 한다. Scenario는 각 로봇이 가진 하드웨어 사양에 따라 생성될 수 있다. Scenario Profile은 XML 형식으로 생성이 되며 전체 구조는 Fig. 4와 같다.

Fig. 4.

Scenario Profile

Scenario Profile은 <scenario>라고 불리는 상위 태그 아래에 여러 태그를 통해서 전체 시나리오 흐름을 구성한다. <scenario> 태그 아래의 <mission> 태그는 객체 감지와 이동과 같은 시나리오에서 수행되는 미션에 관하여 정의한다. <mission> 태그 아래에는 각 미션에 참여하는 로봇을 정의하는 <robot> 태그가 존재하며 <robot> 태그 아래에는 로봇이 미션을 시작하는 시간을 의미하는 <start> 태그와 로봇이 미션을 종료하는 시간을 의미하는 <end> 태그가 존재한다. 마지막으로 <importance> 태그는 해당 시점의 로봇의 중요도에 관하여 명세하며 중요도는 Network Optimizing 과정에서 중요하게 다루어진다.

2) Robot Simulation FE

Robot Simulation FE는 앞서 정의된 Scenario Profile에 따라서 군집 로봇을 시뮬레이션한다. 본 논문에서는 대표적인 로봇 시뮬레이션인 Gazebo를 활용한다. 시뮬레이션에 앞서 실제 로봇의 사양대로 시뮬레이션 환경에서 동작하는 가상 로봇의 설계가 필요하다. Gazebo에서는 SDF (Simulation Description Format)을 통해서 Gazebo 내의 가상 모델을 생성할 수 있다. SDF는 XML 포맷으로서 객체의 실제 몸체를 정의한 <link> 태그와 각 link 사이의 관절인 <joint> 태그를 통해서 로봇의 물리적인 가상 모델을 설계할 수 있으며 시뮬레이션에서 제공하는 물리 엔진을 통해서 가상 모델은 실제와 같이 동작할 수 있다.

로봇 시뮬레이션에서는 단순히 물리적인 동작에 대한 시뮬레이션 뿐만이라 아닌 센서 기반의 시뮬레이션도 제공되어야 한다. 로봇에 탑재된 센서들은 앞선 물리적 설계와 마찬가지로 SDF를 통해서 표현이 될 수 있다. Gazebo에서는 다양한 센서의 플러그인을 제공한다. 본 논문에서는 로봇에 탑재되는 여러 센서 중 용량이 높은 이미지 파일을 높은 전송주기로 전송하는 카메라를 다룬다. 카메라는 실제 사양에 따라 서로 다른 해상도와 전송주기를 지원한다. Fig. 5는 카메라 센서를 표현한 SDF 파일 포맷이다. 카메라 센서 플러그인에서 <width>태그와 <height>태그를 통해서 해상도를 조절할 수 있으며 <update_rate> 태그를 통해서는 기본 전송주기를 설정할 수 있다. 해상도와 전송주기는 데이터 크기와 관련된 속성이기 때문에 이를 조절함으로써 네트워크 자원을 달리 할당할 수 있다.

Fig. 5.

Camera Sensor SDF

3) Network Control FE

Network Control FE는 로봇의 중요도를 기반으로 각 로봇에게 네트워크 자원을 할당하여 네트워크를 제어한다. 현재 시간대의 로봇의 중요도는 Scenario Profile에서 추출되며 아래의 변수를 고려하여 네트워크 자원은 효율적으로 분배된다.

P 는 현재의 시나리오에서 로봇들의 중요도를 나타내는 배열이다. 예를 들어 5개의 로봇 중 1번 로봇과 3번 로봇이 높은 중요도를 가질 경우 해당 시간대의 배열은 P = (1,0,1,0,0)로 정의가 된다. F 와 S 는 각 로봇의 센서가 요구하는 전송 주기와 데이터 크기로 정의된다. 알고리즘의 핵심은 높은 중요도를 가지는 로봇에게는 로봇의 기본 데이터 전송 주기를 보존하며 나머지 로봇에게는 잔여 대역폭 하에서 분배된 전송 주기를 할당하는 방식이다. 중요도 높은 로봇의 네트워크 자원 할당 이후의 잔여 대역폭을 구하기 위한 식은 Equation (1)과 같다.

[TeX:] $$B_{\max }$$는 현재 사용 가능한 최대 대역폭을 나타내며 [TeX:] $$B_{\text {residual }}$$은 잔여 대역폭을 나타낸다. n개의 로봇에 대하여 높은 중요도의 로봇의 데이터 크기와 전송 주기를 전체 가용 대역폭에서 제외함으로써 나머지 로봇에게 할당할 수 있는 잔여 대역폭을 도출할 수 있다.

[TeX:] $$F_{\text {optim }}$$은 잔여 대역폭 내에서 나머지 로봇들에게 동등히 할당할 수 있는 최적의 전송 주기이다. 위 두 식을 통하여 시나리오 상황에 맞는 적절한 대역폭 할당을 수행할 수 있다.

Algorithm.

Network Controller

Network Controller 알고리즘은 위와 같으며 앞서 명세한 식을 통해서 임무에서 높은 중요도의 로봇에게 할당될 대역폭을 제외한 잔여 대역폭과 잔여 대역폭에서 얻을 수 있는 나머지 로봇에게 할당 가능한 최적의 전송 주기를 도출한다. 이후 우선순위가 높은 로봇에게는 요구하는 최대 전송 주기를 그대로 할당하며 우선순위가 낮은 로봇에게는 최적 전송 주기를 할당함으로써 현재의 네트워크 자원을 시나리오 기반으로 효율적이게 사용할 수 있다.

4) Visualization FE

Visualization FE는 Simulation에 참여하는 가상의 로봇과 가상의 환경을 사용자에게 3D 시각화하는 역할을 수행한다. 시뮬레이터의 렌더링 엔진을 통해서 SDF로 정의한 가상의 로봇 모델은 시각화될 수 있으며 가상 로봇에 탑재된 센서들의 정보 또한 시각화하여 로봇이 어떠한 센서값을 얻는 지에 대하여 시각적으로 접근할 수 있다.

4. 실 험

본 연구에서 제안한 디지털 트윈 기반의 군집 로봇 HILS 검증의 기능 및 성능을 실험하기 위하여 실제 로봇의 Scenario Profile을 구성하였으며 Fig. 6과 같은 시간대별 각 로봇이 가지는 중요도를 도출하였다. 로봇은 팀별로 동일한 중요도를 가지고 있다고 가정하였으며 Team A(Robot1,2), Team B(Robot3,4,5), Team C(Robot6,7,8,9,10)로 구성하였다. 각 로봇의 카메라는 120Hz의 전송주기를 지원할 수 있도록 설계하였다.

Fig. 6.

Task Importance of Robots by Time

Fig. 7은 Network Controller 알고리즘을 적용 시켜 시나리오를 기반으로 시뮬레이션이 되었을 때 시간대별로 각 로봇 팀이 센서 데이터를 전송하는 전송 주기를 나타내는 그래프이다. Fig. 6에서 Team A의 경우 Time 4까지 높은 중요도를 가지며 이후에는 낮은 중요도를 가진다. 이에 따라 그래프에서 Team A는 Time 4까지 120Hz라는 전송주기를 만족하며 이후에는 중요도가 높은 Team B 혹은 Team C에게 네트워크 자원을 양도함으로써 잔여 네트워크 자원 하에서 데이터가 전송됨을 확인할 수 있다. 이를 통해 시나리오에서 정의한 중요도를 중심으로 각 로봇에게 적절한 전송주기를 할당이 가능함을 증명하였다.

Fig. 7.

Sensor Generation Rate of Robots by Time

본 논문에서는 네트워크 자원 할당에 있어 전송 주기를 조절하는 방안을 제시하였지만 로봇의 중요도와 사용 가능한 네트워크 자원을 알 수 있다면 동일한 전송 주기 하에 해상도를 달리 하여 네트워크 자원을 할당할 수 있다. Fig. 8에서 볼 수 있듯이 동일한 전송주기 하에 중요도가 높은 로봇은 보다 고해상도의 이미지를 전송할 수 있으며 이는 객체 탐지의 정확도에 기여할 수 있다.

Fig. 8.

Network Resource Allocation (About Resolution)

실험에서 시뮬레이터와 로봇은 DDS(Data Distribution Service)를 기반으로 Topic이라는 논리적 통로를 통해 통신이 이루어지며 DDS는 일반적으로 UDP(User Datagram Protocol을 채택한다. Fig. 9는 본 논문에서 정의한 알고리즘을 적용하기 이전과 이후에 대하여 시뮬레이터의 전송 Queue에 쌓이는 패킷의 양을 통해 패킷 손실 비율을 정량화한 값이다. 알고리즘 적용 이전에는 전송하고자 하는 전체 데이터 중 약 15.7%가 통신의 부하로 인하여 전송되지 못한다. 하지만 알고리즘 적용 이후에는 Queue에 쌓이는 패킷이 때에 맞게 처리됨으로써 전송 대비 패킷 손실 비율이 0.2%로 감소하였다. 이를 통해 본 논문의 알고리즘은 중요한 데이터에 대한 전송을 보장할 수 있음을 입증할 수 있다.

Fig. 9.

Packet Loss Ratio Comparison

5. 결 론

본 논문에서는 로봇의 군집 임무 검증에서 발생하는 데이터 혼잡 문제를 해결하기 위하여 디지털 트윈 기반의 통신 최적화 방식을 제안하였다. 군집 로봇의 검증은 임무를 중심으로 수행이 되며 제안한 방식은 시나리오에서 정의된 각 로봇이 수행하는 임무의 중요도를 기반으로 중요도가 높은 로봇에게는 네트워크 자원을 최대로 할당하여 로봇의 사양을 그대로 보장함으로써 군집 임무의 효율적인 실시간 검증을 지원할 수 있다. 하지만 실제 전장은 예측이 불가능하며 이에 따라 시뮬레이션 또한 로봇의 임무가 갑작스레 바뀔 수 있는 상황을 고려해야 한다. 향후 연구에는 기존 미션 시나리오에서 벗어나 로봇의 우선 순위가 동적으로 변화하는 상황에서도 실시간 검증을 지원할 수 있는 알고리즘을 제안할 것이며 알고리즘이 추가됨으로써 발생할 수 있는 다양한 문제들을 더 많은 평가 지표(ex. 실시간성 등)를 바탕으로 조사 및 분석하여 우리의 알고리즘을 개선할 것이다.

군집 로봇의 역할은 다양한 분야에서 갈수록 중요해지고 있으며 이에 따라 임무를 수행하는 군집 내 개체 수 또한 지속적으로 증가하는 추세이다. 이러한 상황에서 전체 군집 로봇을 검증할 시에 네트워크 자원은 필히 부족해질 것이다. 소프트웨어 측면으로 네트워크 자원의 부족을 해소할 방안이 필요하며 이에 따라 본 논문에서의 접근이 군집 로봇 개발 및 검증 과정에 활용될 수 있을 것으로 기대한다.