법이 정한 영역
먹는물의 생산 공정
법 제2조제4호 나목
무엇을 뜻하나
먹는물 공급은 국민의 신체 건강에 중대한 영향을 미치는 요소이므로, 먹는물과 먹는물공동시설을 안전하게 관리·운영하는 인공지능시스템의 오작동 또는 오류는 중대한 위험을 발생시킬 우려가 있다. 특히, 수원 관리·정수 처리, 저장 및 배수 등 안전한 먹는물 공급의 모든 과정에서 수질에 영향을 미칠 수 있는 인공지능시스템은 고영향 인공지능에 해당한다.
어디까지 적용되나
「먹는물관리법」 제3조제1호 및 제6호에 따른 먹는물과 먹는물공동시설의 안전한 관리 및 운영을 위하여 사용되는 인공지능시스템을 의미한다.
가이드라인 2.2.2
확인 기준
수돗물, 먹는샘물, 먹는염지하수, 먹는해양심층수 등 다양한 유형의 먹는물에 공통적으로 적용될 수 있는 프로세스를 단계별로 구분하여 인공지능시스템의 위험도를 판단한다. 먹는물 분야에서 사용하는 인공지능시스템의 경우, 다음 단계별 기준을 종합적으로 고려하여 ‘고영향’ 해당 여부를 판단한다.
- (데이터 수집의 정확성) 인공지능시스템이 수질, 수량 등의 데이터를 정확하게 수집하고, 오류 없이 실시간으로 모니터링하는 능력이 있는지를 판단하여야 한다.가이드라인 2.2.3
- (데이터 처리 및 저장의 신뢰성) 수집된 데이터를 처리하고 저장하는 과정에서 발생할 수 있는 데이터 손실, 손상 및 위변조 가능성 평가할 수 있어야 한다.가이드라인 2.2.3
- (데이터 분석 및 패턴 인식) 인공지능시스템이 수집된 데이터를 분석하고, 패턴을 인식하여 수질 상태의 변화를 탐지하는 능력이 있는지를 판단하여야 한다.가이드라인 2.2.3
- (예측의 정확성) 분석된 데이터를 바탕으로 수질 변화나 오염 가능성을 사전에 예측하는 정확성. 문제 발생 가능성에 대한 사전 경고 시스템이 작동하는지를 판단하여야 한다.가이드라인 2.2.3
- (수질 자동 조정의 정확성) 인공지능시스템이 수질이 기준치를 벗어났을 때 자동으로 적절하게 조정할 수 있는 능력이 있는지를 판단하여야 한다.가이드라인 2.2.3
- (실시간 피드백 능력) 자동조정 후 인공지능시스템이 실시간으로 조정의 효과를 피드백하고, 새로운 수질 상태에 맞게 다시 조정이 가능한지 판단하여야 한다.가이드라인 2.2.3
- (자율 운영 시스템의 안정성) 인공지능시스템이 인간의 개입 없이 안정적으로 수질 관리시스템을 운영할 수 있는지를 판단하여야 한다.가이드라인 2.2.3
- (자가 진단 및 자율 복구 능력) 인공지능시스템이 수질 관리시스템에서 발생하는 오류를 스스로 진단하고 자율적으로 문제를 해결할 수 있어야 한다.가이드라인 2.2.3
※ 단, 하수처리 분야는 공급과 달리 고영향 분야에 해당하지 않는다. (2.2.2)
가이드라인이 답을 적어 둔 사례
고영향에 해당한 사례 — A기관의 완전자율형·완전자동화 수질 관리 시스템
A기관에서는 인공지능 기반의 완전자동화된 수질 관리 시스템을 통해 모든 수질 관리 작업을 독립적으로 수행한다.
해당 시스템은 수질/수량 데이터 수집 또는 저장 오류, 오염 탐지 및 예측 실패, 자동 조정 실패의 위험이 있으며 자율 운영 중 복구 불가능한 오류의 위험이 있다.
가이드라인 2.2.4
고영향이 아니라고 본 사례 — B지방자치단체의 스마트 수질 모니터링 시스템
B지방자치단체에서는 인공지능 기반 스마트 수질 모니터링 시스템을 이용하여 상수원에서 나오는 수질을 실시간으로 감시하고 있다.
해당 시스템은 수질·수량 데이터 수집 오류나 예측 실패 가능성은 있으나, 탐지·경고 후 관리자가 즉시 대응하므로 자동 조정 실패의 위험이 없고, 복구 불가능한 오류로 이어지지 않는다.
가이드라인 2.2.4
원문에서 알아 둘 것
- 그림이 본문보다 좁습니다. 본문은 '단계별 기준을 종합적으로 고려'라고만 해서 몇 개를 충족해야 하는지 정하지 않았는데, 그림은 1~4단계를 모두 통과해야만 고영향으로 봅니다. 그림대로면 4단계(완전 자동화·자가 복구)에 이르지 않은 시스템은 앞을 다 충족해도 해당하지 않습니다. 고영향 쪽으로 답하고, 그림을 따르면 뒤집힐 수 있다는 점을 결과서에 적습니다.