공공서비스 AI는 고영향 인공지능인가

01법이 정한 영역

공공서비스 제공에 필요한 자격 확인 및 결정 또는 비용징수 등 국민에게 영향을 미치는 국가, 지방자치단체, 「공공기관의 운영에 관한 법률」 제4조에 따른 공공기관 등(이하 “국가기관등”이라 한다)의 의사결정

법 제2조제4호 자목

02무엇을 뜻하나

「행정기본법」 제20조의 자동적 처분 등 기속행위를 제외한 공공서비스에 사용되는 인공지능시스템은 국가기관, 지방자치단체, 공공기관 등(이하 “국가기관 등”)이 국민의 권리·의무에 직접적으로 영향을 미칠 수 있으므로 ‘고영향 인공지능’에 해당한다. 따라서 단순 민원에 대한 자동 답변 제공 서비스 등과 같이 생명, 신체의 안전, 사회적 위험으로부터 국민을 보호하는 서비스와 무관한 영역에 활용되는 인공지능은 국민의 권리·의무에 직접적으로 영향을 미치지 않으므로 ‘고영향 인공지능’에 해당하지 않는다.

03어디까지 적용되나

국가기관 등이 사용하는 인공지능 중 공공서비스 제공에 필요한 자격 확인, 결정 또는 비용징수 중 어느 하나에 사용되는 인공지능시스템을 의미한다.

가이드라인 2.12.2

04확인 기준

국가기관 지방자치단체 혹은 공공기관, 국가기관이 공공서비스 제공에 활용하는 인공지능서비스(「행정기본법」 제20조 자동적 처분) 중 다음에 해당하는 경우 ‘고영향 인공지능’에 해당한다.

• ⅰ) 자격확인에 활용 — 국가기관 등의 자격확인은 그 결과에 따라 국민의 공공서비스에의 접근 가능성 자체를 제한할 수 있으므로 원칙적으로 고영향에 해당한다.가이드라인 2.12.3
• ⅱ) 비용징수에 활용 — 비용징수는 국민의 재산상 손실을 가져온다는 점에서 생활과 직접적으로 연관되기 때문에 인공지능을 통해 비용을 산정해 국민에 징수할 경우 원칙적으로 ‘고영향 인공지능’에 해당한다. 이와 달리 사전에 ‘정액화’되어 있지 않고 비용 산정에 주관적·정책적 판단이 개입되어야 하는 사안에 인공지능이 활용될 경우 인공지능의 잘못된 판단으로 국민의 재산권이 침해되어도 국민으로서는 착오 징수된 비용에 대해 다소 복잡한 불복 과정을 거쳐야 할 것으로 예상된다는 점에서 이와 같은 인공지능은 ‘고영향 인공지능’에 해당한다.가이드라인 2.12.3
• ⅲ) 결정에 활용 — 공공기관등이 국민의 공공서비스 제공 여부나 순위 결정에 인공지능시스템을 활용하는 경우, 인공지능시스템이 합리적인 기준에 따라 평등하게 설계·사용되는지 여부가 국민의 권리에 직접적인 영향을 미친다. 따라서 이러한 경우는 ‘고영향 인공지능’에 해당한다. 특히 인공지능의 오작동/오판으로 인해 서비스가 제공되지 않거나 순위가 변동되는 경우 당해 국민에게 회복 불가능한 피해가 발생하는지 여부를 고려하여 판단한다.가이드라인 2.12.3
• ⅳ) 최종 결정을 수행 — 공공서비스 제공 여부에 대한 결정이 당해 국민에게 회복 불가능한 피해를 발생시키지 않는다고 하더라도 생명·신체 안전, 출산, 양육, 실업, 노령, 장애, 질병, 빈곤, 사망이라는 사회보장 영역은 인간의 존엄성과 밀접하다는 점을 고려하여, 제공 여부에 관한 최종 결정을 수행하는 인공지능, 즉, 휴먼 인 더 루프(Human in the Loop, HITL)가 포함되지 않는 인공지능의 경우는 ‘고영향 인공지능’에 해당한다. 국가기관 등이 사람의 개입이나 감독 없이 완전히 자동화된 인공지능시스템으로 최종 결정을 수행하는 형태의 공공서비스는 ‘고영향 인공지능’으로 판단된다.가이드라인 2.12.3

※ 정액화: 공공서비스 제공 조건에 1대1 대응되는 비용이 사전에 확정되어 있는 경우, 즉, ① 서비스를 이용하는 모두에게 동일한 비용이 부과되거나, ② 비용 산정에 계산이 필요하다고 하더라도 수치화 가능한 객관적 지표가 활용되어 비용이 얼마인지에 대한 논란의 여지가 없는 경우를 의미한다. 다만 비용 산정에 관하여 정액화된 기준이 존재한다고 하더라도 기준이 사전에 국민에게 투명히 공개되지 않은 경우라면, 불복이 어려워질 수 있다는 점에서 ‘고영향 인공지능’에 해당할 수 있다.

05가이드라인이 답을 적어 둔 사례

06원문에서 알아 둘 것

• 본문과 그림의 결론이 같습니다. 원문 그대로 답합니다.