자율주행·도로교통 AI는 고영향 인공지능인가

01법이 정한 영역

「교통안전법」 제2조제1호부터 제3호까지에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영

법 제2조제4호 아목

02무엇을 뜻하나

「교통안전법」 제2조 제1호부터 제3호까지에 규정된 교통수단, 교통시설, 교통체계의 안전 보장은 ‘사람의 생명, 신체의 안전’에 직접적인 영향을 미치고, 안전 조치 미비로 인하여 교통사고가 발생하는 경우 사망, 상해 등으로 이어질 수 있다는 점에서 고영향 인공지능으로 판단할 필요성이 있다. 다만 ‘사람의 생명, 신체의 안전’에 중대한 영향을 미칠 수 있는 교통수단, 교통시설, 교통체계의 ‘주요한 작동 및 운영’에 사용되는 인공지능시스템으로 한정하여야 한다.

03어디까지 적용되나

교통안전법 제2조 제1호 가목의 교통수단, 교통시설 및 교통체계에 활용되는 인공지능시스템을 의미한다. 교통수단 중에서 도로교통법에 의한 차마에 포함되는 ‘자동차’ 특히 자율주행 자동차 등에 활용되는 인공지능시스템을 포함한다. 교통시설 및 교통체계에 관한 인공지능기술은 일반적으로 특정 교통수단과 연계하여 구현되므로, 교통수단별로 관련 교통시설 및 교통체계에 관한 인공지능시스템도 포함한다.

가이드라인 2.8.2

04확인 기준

자율주행자동차의 자율주행시스템, 자율주행시스템 이외에 차에 적용된 인공지능시스템, 교통시설·교통체계에 관한 기술로 나누어 ‘고영향’ 인공지능 해당 여부를 검토하기로 한다. 이 밖에도 실무적으로 기타 ‘고영향’ 인공지능시스템 확인 기준(참고 2-8-1)을 종합적으로 고려하여 판단한다.

• 자율주행자동차의 자율주행시스템과 관련된 인공지능시스템은 ① 대체로 도로 주행을 목적으로 하는 기술로서, ② 인공지능시스템이 스스로 판단하여 자동차를 운전하는 데 필요한 의사결정을 내리고, ③ 자율 도로 주행 중 사고 발생 가능성, 사고 발생 시 인명 피해 가능성을 고려하여야 한다. 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성이 높은 경우, 다른 구체적인 사정이 없는 한 원칙적으로 ‘고영향 인공지능’에 해당한다.가이드라인 2.8.3
• (조건부 완전자율주행시스템 이상) 특정 조건(예컨대, 지정된 도로)에 해당하는 경우 어느 상황에서든 운전자의 개입 없이 자동차를 운행하는 것을 전제로 하고 있으므로(자동차 및 자동차부품의 성능과 기준에 관한 규칙 제111조 제2, 3호 참조), 조건부 완전자율주행시스템 이상의 자율주행시스템과 관련된 인공지능시스템은 ‘고영향 인공지능’에 해당한다.가이드라인 2.8.3
• (부분 자율주행시스템) 일반적으로 인공지능기술이 주행 제어를 담당하지만 작동 한계 상황 등 필요에 따라 운전자의 개입을 요구하므로, 자율주행시스템과 관련된 인공지능시스템은 ‘고영향 인공지능’에 해당할 가능성이 높으나, 인공지능시스템이 도로 주행 제어에 관여하지 않고, 법률로 해당 인공지능시스템에 대한 안전기준이 존재하여 그 기준을 준수하게 되면 사고 발생 시 피해 정도를 현저히 낮출 수 있는 경우 ‘고영향 인공지능’에 해당하지 않는다. 앞선 확인 기준에 따라 ‘고영향 인공지능’에 해당하는지 여부를 판단하되, 법률로 안전기준이 규정된 기술 유형에 대해서는 이를 참작하여 검토한다.가이드라인 2.8.3
• (자율주행시스템 미적용 자동차) 인공지능기술이 도로 주행에 관여하더라도, 운전자가 자신의 판단에 따라 직접 운전하는 것을 전제하고 비상 상황에서는 언제든지 운전자가 개입하도록 정해져 있으므로, 인공지능시스템은 사실상 도로 주행을 위한 의사결정에 보조적인 수단에 해당한다고 보아야 하므로, 원칙적으로 ‘고영향 인공지능’에 해당하지 아니한다.가이드라인 2.8.3
• 자율주행시스템은 크게 세 부분(인지, 판단, 제어)으로 분류된다. 인공지능시스템이 판단, 제어에 관여하는 경우라면 교통수단의 ‘주요한 작동 및 운용’에 관한 의사결정에 관여한다는 의미이므로 고영향 인공지능에 해당할 가능성이 높으나, 인지에 관여하는 경우는 달리 볼 여지가 있다. … 실질적인 ‘판단’ 과정에서는 인공지능시스템이 아니라 규칙 기반의 알고리즘을 따르는 경우라면 단순 의사결정의 근거가 되는 정보를 제공하는 것으로 보아야 하며, 의사결정을 좌우하는 주된 근거에 해당하지 않는다면 고영향 인공지능에 해당하지 않을 수 있다. 한편 인공지능시스템이 적용된 ‘인지’기술의 경우 자율주행과정의 의사결정에 있어 주된 근거가 되는 경우라 하더라도 추가적인 안전조치가 취해져서 그 의사결정을 교정·번복하여 사람의 생명, 신체의 안전에 대한 중대한 영향을 미칠 가능성을 극히 낮출 수 있다면 고영향 인공지능에 해당하지 않을 수 있다.가이드라인 2.8.3 <참고: 자율주행시스템의 기술 분류>
• (자율주행시스템 이외에 차에 적용된 인공지능시스템) 자율주행시스템 이외에 자동차 또는 그 밖의 차에 적용된 인공지능시스템의 경우, 차의 주요한 동작에 있어 의사결정에 관여하는 정도, 차의 제어를 위한 의사결정에 미치는 영향의 정도, 인공지능시스템의 오류 등으로 인한 위험도를 종합적으로 고려하여 ‘고영향 인공지능’ 해당여부를 판단한다. 다만 인공지능시스템이 차의 기존 필수적 수단을 대체하지 아니하고, 기존의 필수적 수단은 유지한 채 편의 등을 목적으로 추가 요소를 더하는 수준의 보조적 수단에 해당하여, 인공지능시스템의 산출물에 일부 오류가 발생하더라도 불편을 초래할 뿐 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성이 극히 낮은 경우라면 ‘고영향 인공지능’에 해당하지 아니한다.가이드라인 2.8.3
• (교통시설, 교통체계에 관한 인공지능시스템) 교통시설, 교통체계에 관한 인공지능시스템은 ① 교통시설, 교통체계의 주요한 동작과 운영과 관련하여 의사결정을 내리는 데 관여하는 정도와 ② 해당 의사결정에 따른 결과로 사고 발생 시 잠재적 피해 정도를 평가하여 ‘고영향 인공지능’ 해당 여부를 정할 필요가 있다.가이드라인 2.8.3
• ① 교통시설, 교통체계에 인공지능시스템이 적용된 결과 교통시설의 주요한 작동, 운용이 연평균 일 교통량이 25,000대 이상인 시가지 도로에 영향을 미치는 경우가이드라인 2.8.3
• ② 교통시설, 교통체계에 인공지능시스템이 적용된 결과 교통시설의 주요한 작동, 운용이 스쿨존/교차로/철도건널목 등과 같이 특별히 안전조치가 강화된 곳에 영향을 미치는 경우가이드라인 2.8.3
• ① 인공지능이 스스로 결정하여 판단한 사항에 따라 사람의 개입 없이 직접 의사결정을 내려 차 또는 교통시설의 주요한 작동 및 운용을 수행하는지 여부, ② 사람이 의사결정을 내리되 인공지능의 산출물이 그 의사결정의 주된 근거가 되는지 여부를 평가하여, 인공지능기술의 결과물로 차 또는 교통시설 등의 주요한 작동 또는 운용이 어떻게 이뤄질지 결정되는 경우 ‘고영향 인공지능’에 해당한다.가이드라인 참고 2-8-1
• 인공지능시스템이 스스로 판단하여 교통수단, 교통시설, 교통체계의 주요한 작동 및 운용에 대한 의사결정을 내린다는 것은, 교통수단, 교통시설 등이 종래의 규칙 기반으로 미리 정해진 논리에 따라 작동 및 운용되지 않고, 인공지능기술이 학습한 데이터에 기반한 추론 결과에 따라 주요한 작동 및 운용에 대한 의사결정이 내려지는 것을 의미한다.가이드라인 참고 2-8-1
• (사고 발생 시 잠재적 피해 정도에 따른 분류) 인공지능시스템의 오류 등으로 인하여 교통수단, 교통시설, 교통체계의 주요한 작동 및 운용에 영향을 미치게 되고, 그 결과 사고가 발생할 가능성이 있는 경우 사고 발생 가능성, 사고 발생 시 인명 피해가 발생할 가능성 및 예상되는 인명 피해의 심각한 정도에 따라 잠재적 피해 정도를 평가하여 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성이 극히 낮다면 ‘고영향 인공지능’에 해당하지 않는다. 한편, 인공지능기술에 오류가 있다 하더라도, 사고 발생 가능성이 낮고, 사고가 발생한다 하더라도 ‘인명 피해’ 발생 가능성이 낮으며, 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성이 극히 낮다고 평가되면 고영향 인공지능에 해당하지 않는다.(다만 교통사고 발생 가능성 및 인명 피해 가능성이 낮다 하더라도 예상되는 인명 피해가 심각한 수준에 이를 수 있다면 ‘고영향 인공지능’에 해당한다.)가이드라인 참고 2-8-1
• (별도로 규정된 안전기준의 존재 여부에 따른 분류) 인공지능시스템에 대한 별도 안전기준을 준수하는 것으로 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성을 극히 낮출 수 있다면 ‘고영향 인공지능’에 해당하지 않는다. 인공지능기술 그 자체에 대한 안전기준이 규정되지 아니한 경우라 하더라도, 인공지능시스템의 일부로 활용되었음을 전제로 특정 시스템에 대한 안전기준이 규정된 경우에도 안전기준의 준수로 사람의 생명, 신체의 안전에 중대한 영향을 미칠 가능성을 극히 낮출 수 있다면 ‘고영향 인공지능’에 해당하지 않는다.가이드라인 참고 2-8-1
• 한편, 사람이 차 또는 교통시설의 주요한 작동 및 운용을 위한 의사결정을 내리고, 인공지능시스템으로 나타난 결과가 그 사람의 의사결정을 내리는데 있어 크게 영향을 미치지 않고 참고할 수 있는 정보를 제공하는 정도로서, 인공지능기술이 단순히 사람의 의사결정에 ‘보조적인 역할’을 수행하는 경우라면 ‘고영향 인공지능’에 해당하지 않는다.가이드라인 참고 2-8-1

※ 도로안전시설 설치 및 관리지침에 따른 교통량이 많아 조명시설을 설치해야 하는 일반도로의 기준은 ‘연평균 일 교통량(AADT)이 25,000대 이상’이다.

05가이드라인이 답을 적어 둔 사례

06원문에서 알아 둘 것

• 그림이 본문보다 좁습니다. 본문은 조건부 완전자율주행시스템 이상이면 그 자체로 고영향이라고 하는데, 그림에는 자율주행 레벨 개념이 아예 없고 ‘스스로 의사결정을 내려 주요한 작동 및 운용을 수행하는가?’ → ‘별도 안전기준을 충족해 중대한 영향을 극히 낮출 수 있는가?’ 같은 이탈 경로를 둡니다. 그림대로면 레벨3 이상이라도 해당하지 않는 쪽으로 빠질 수 있습니다. 덧붙여 그림의 ‘탑승자의 편의를 목적으로 하는 기술인가?’ 관문은 YES 선이 두 갈래(고영향 NO / 의사결정 관문)로 그려져 있어 원문상 행선지가 확정되지 않습니다. 고영향 쪽으로 답하고, 그림을 따르면 뒤집힐 수 있다는 점을 결과서에 적습니다.
• 이 절에는 다른 법을 지킨 것을 이 법의 의무 이행으로 보는 항목(시행령 별표 1 갈음)이 5건 있습니다. 해당하는 것은 결과 화면에서 고르면 됩니다.