제안
도면과 도면의 설명
도1
본 발명의 수전 시스템과 센서 배치를 표현한 도면이다.
도2
본 발명에서 수전의 사용자 편의 및 절수 강화를 위해 자석 센서와 진동감지 센서를 통해 레이블을 자동으로 취득하는 자동 레이블링 방법을 표현한 흐름도이다.
빨강: 모델 추론, 검정: 수전 상태
도3
본 발명의 수전 시스템을 위한 MLOps 구축 방법 및 운영 방법에 대한 내용을 도식화한 것이다.
도4
본 발명의 절전 캐스캐이딩 시스템에 대한 내용을 도식화한 것이다.
sequenceDiagram
움직임 감지 센서->>소형 컴퓨터: 움직임 감지
소형 컴퓨터->>카메라: 카메라 활성화
카메라->>소형 모델: 영상 입력
소형 모델->>소형 컴퓨터: 설거지 활동 감지
alt 설거지 활동 감지
카메라->>대형 모델: 영상 입력
대형 모델->>수전: 제어
else 설거지 활동 종료
소형 컴퓨터-->>움직임 감지 센서: 대기 모드
endMermaid
복사
발명명칭
컴퓨터비전 기술과 MLOps 를 적용한 싱크대 수전 절수 보조 시스템과 인공지능 모델의 개인화된 제공 방법
3. 발명의 상세한 설명
3.1. 선행기술문헌
•
2018, 스마트 수도꼭지 시스템 (통신망을 통해 상기 제어부에 조작신호를 전송하여 물의 유량과 온도를 조절하는 어플리케이션이 탑재된 스마트폰과 복잡한 수도꼭지 장치를 이용하여 배출되는 물의 온도와 양을 원격으로 조절)
•
2020, 마이크로웨이브 모션 센서 기반의 급수 시스템 및 그 방법 (사용자를 인식함으로써 인식 정보를 획득하는 모션 센서 기반의 모듈을 이용하여 인식 및 분사량 등 제어)
•
2021, 제스쳐 센서를 이용한 수전장치 (수전과 직접 접촉하지 않고도 사용자의 제스쳐를 감지하여 물의 토출 여부를 제어할 수 있음)
3.2. 배경기술
•
센서와 수전을 결합한 선행 발명에서 센서는 물을 절약하기 위해 단순히 움직임을 감지하는 목적으로만 여겨져 왔다. 센서와 움직임을 기반으로 물의 공급을 제어하는 수전장치(2018, 스마트 수도꼭지 시스템, 2021, 제스쳐 센서를 이용한 수전장치) 혹은 사전에 등록된 움직임을 기반으로 물의 공급을 제어하는 수전장치(2020, 마이크로웨이브 모션 센서 기반의 급수 시스템 및 그 방법)가 이에 속한다.
•
기존의 동작 감지 센서와 수전을 결합한 발명의 경우, 움직임 규칙 기반으로만 수자원 사용을 제어할 수 있어 제어 방법이 매우 제한적이며, 사용자는 수동 제어가 불가능한 수전의 작동 방식에 적응하고 능동적으로 학습해야 한다는 편의성 문제가 있다.
•
다양한 패턴을 인식시키고자 했던 AI 스마트 파우셋(2019, A WIZARD-OF-OZ EXPERIMENT TO DEMONSTRATE WATER REDUCTION AND USER TRAINING WITH AN "AUTONOMOUS" FAUCET)의 경우, 특정 사용자의 패턴을 기반으로 수자원의 효율적 사용을 도울 수 있지만, 사용자들의 설거지 녹화 동영상을 직접 눈으로 모니터링하며 레이블링한 데이터를 기반으로 학습되기 때문에 데이터의 양적 한계가 있으며, 한 번 학습된 단일 모델은 각 개인들에게 맞춤 튜닝이 될 수 없어 서로 다른 설거지 특성이 반영되기 어렵고 실생활에 적용했을 때 사용자의 편의를 해친다는 한계가 있다.
•
베이스라인 인공지능 모델을 개발하였다 하더라도 각 개인의 패턴을 학습할 데이터가 부족한 경우 설거지와 같은 개인의 습관을 추론하는 인공지능 모델의 정확도 문제가 발생하고, 이것을 해결하기 위하여 추가적인 데이터 확보와 가공 작업으로 재학습을 진행시켜야 하는데, 개인의 설거지 데이터를 일일이 눈으로 보고 레이블링을 한다면 몇 개월씩 소요될 수 있다. MLOps 는 인공지능을 뜻하는 Machine Learning 과 서비스 운영을 뜻하는 Operation 의 합성어로, 그 목적은 데이터에 대한 가공, 정제, 분석, 테스트 결과에 대한 수정 및 보완(Continuous Integration)을 통해 추가적인 버전을 업데이트하며 배포(Continuous Deploy)에 이르기까지 하나의 환경 연동 시스템을 구축하는 것을 목표로 한다.
3.3. 해결하려는 과제 (발명의 내용 → 해결하려는 과제)
•
수자원을 확보하는 일이 국가전략적 과제로 떠오르고, 수자원의 가격은 근 몇년간 큰 폭으로 상승했다. 이런 흐름 속에 가정이나 업장에서 설거지를 할 때 낭비되는 물을 절약하기 위해 다양한 수자원 절약 장치들이 발명되었다.
•
수전을 사용할 때 수자원이 낭비되는 가장 큰 요인은 물이 필요한 상황과 필요하지 않은 상황이 매우 빈번하게 전환되기 때문에 매번 물을 잠그는 행위가 귀찮아서 물을 계속 틀어둔다는 점이다. 이때 설거지 전체 물 사용량의 적게는 10%에서 크게는 25% 까지가 불필요하게 낭비된다. 따라서 물을 잠그고 여는 동작이 자동화된다면 물의 절약을 기대할 수 있다.
•
본 발명에서 제안하는 내용은 실생활에서 상기 문제점들을 해결하지 못한 기존 발명들의 기술적 한계와 사용자 편의성을 개선한 새로운 접근 방식으로, 사용자가 수전과 직접 접촉하지 않고도 물의 토출 여부를 완벽히 제어할 수 있을 때까지 사용성이 자동으로 개선될 수 있는 AI 수전 시스템이다.
•
특히, 본 발명은 단순히 물을 절약하는 기능에 그치지 않고, 사용자의 개별적인 생활 패턴과 세척 습관을 인지하고 이에 맞춤화된 제어를 가능하게 하는 고도의 지능형 시스템을 구현한다는 것에 집중한다. 본 발명이 제안하는 시스템은 처음부터 완벽한 센서와 완벽한 절수 보조기기가 없다는 것을 전제로 하여, 자동 수전 제어 장치를 사용하지 않던 사용자의 경험을 해치지 않으면서도 이들 개인 각각에 맞춤형 설거지 패턴 인식 데이터와 레이블을 자동으로 취득하고 모델을 재학습하여 배포할 수 있는 전체 시스템과 센서의 활용에 대한 아이디어를 MLOps와 관련지어 제안하는 것에 의의가 있다.
•
이러한 시스템을 사용하면 기존보다 더 많은 전력을 사용하게 된다. 본 발명에서는 전력 사용을 최소화하기 위한 캐스캐이딩(오래 실행되기 비싼 자원을 잠자기 모드에서 꺼내 오도록 만드는 행위) 시스템을 수전에 접목할 수 있는 논리적인 방법도 함께 제안한다.
3.4. 발명의 구성 및 적용 (발명의 내용 → 과제의 해결 수단)
•
상술한 과제를 실현하기 위한 본 발명의 수전과 이를 위한 MLOps 시스템은, 카메라, 자석 센서, 솔레노이드 밸브, 인공지능 모델을 이용해 물의 토출 여부를 제어하는 수전장치; 사용자의 피드백을 유의미한 데이터와 레이블 쌍으로 전환하는 방법; 데이터 레이블 쌍이 클라우드에 저장되고 재학습된 모델이 사용자에게 재배포되며 사용자의 수전 손잡이 조작을 통해 피드백 루프를 구성하는 방법을 포함한 MLOps 파이프라인; 수전 시스템의 절전 제어를 위한 캐스캐이딩 시스템; 을 포함할 수 있다.
•
또한, 본 발명에 따른 수전장치는 사용자와 모델 추론의 일치 여부를 실시간으로 표시하는 디스플레이를 포함할 수 있다.
•
또한, 본 발명에 따른 수전장치는 사용자가 물을 사용하고자 했으나, 인공지능 모델의 오류로 인해 물이 토출되지 않을 때 사용자가 수전 손잡이에 접촉하지 않고 물을 강제로 토출시키는 진동 감지 센서를 포함할 수 있다.
•
본 발명에 따른 이미지 센서는 수전 몸체에서 설거지 통을 내려다보는 위치에 설치되어 사용자의 손, 식기 및 수세미 등을 촬영한다. 자석 센서는 수전의 개폐 상태를 감지하며 수전 몸체에 내장된다. 진동 감지 센서는 수전 사용을 원하는 사용자의 탭 동작을 감지하며, 이는 설거지통에 부착되어 사용된다. 이 센서들은 제어부로 데이터를 전송하여 수전의 토출 여부를 결정하는 데 사용된다. 인공지능 모델은 이미지 센서에서 수집된 영상을 분석하여 수전의 개폐 제어를 명령한다.
•
여기서, 사용자의 피드백을 통해 자동으로 유의미한 데이터 레이블 쌍을 얻기 위해 자석 센서와 진동 센서를 사용하여 정확한 레이블을 부여하는 구체적인 과정은 다음과 같다.
1.
수전이 열려 있을 경우
a.
컴퓨터비전 기반 단수 여부 판단 모델이 현재 물이 필요한 상황이라고 추론하는 경우: 솔레노이드 밸브가 열리고, 수전손잡이가 열려 있으므로 물이 나온다.
i.
t초 내에 수전 손잡이에 부착된 자석센서가 반응한다면(수전 손잡이 열림 → 닫힘), 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘0’ (물이 필요없음) 레이블을 부여한다.
ii.
t초 내에 수전 손잡이에 부착된 자석센서가 반응하지 않는다면, 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘1’ (물이 필요함) 레이블을 부여한다.
b.
컴퓨터비전 기반 단수 여부 판단 모델이 현재 물이 필요하지 않은 상황이라고 추론하는 경우: 솔레노이드 밸브가 닫히므로, 수전손잡이가 열려 있어도 물이 나오지 않는다.
i.
t초 내에 싱크볼 벽면에 부착된 진동센서가 반응한다면, 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘1’ 레이블을 부여한다. 사용자가 물을 필요로 하고 있으므로 솔레노이드 밸브를 열어준다.
ii.
t초 내에 싱크볼 벽면에 부착된 진동센서가 반응하지 않는다면, 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘0’ 레이블을 부여한다.
2.
수전이 닫혀 있을 경우
a.
컴퓨터비전 기반 단수 여부 판단 모델이 현재 물이 필요한 상황이라고 추론하는 경우: 솔레노이드 밸브가 열리지만, 수전 손잡이가 닫혀 있어서 물이 나오지 않는다.
i.
t초 내에 수전 손잡이에 부착된 자석센서가 반응한다면(수전 손잡이 닫힘 →열림), 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘1’(물이 필요함) 레이블을 부여한다.
ii.
t초 내에 수전 손잡이에 부착된 자석센서가 반응하지 않는다면, 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘0’(물이 필요없음) 레이블을 부여한다.
b.
컴퓨터비전 기반 단수 여부 판단 모델이 현재 물이 필요하지 않은 상황이라고 추론하는 경우:솔레노이드 밸브가 닫히고, 수전 손잡이도 닫혀 있으므로 물이 나오지 않는다.
i.
t초 내에 수전 손잡이에 부착된 자석센서가 반응한다면(수전 손잡이 닫힘→열림), 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘1’(물이 필요함) 레이블을 부여한다. 사용자가 물을 필요로 하고 있으므로 솔레노이드 밸브를 열어준다.
ii.
t초 내에 수전 손잡이에 부착된 자석센서가 반응하지 않는다면, 현재 이미지와 현재로부터 n장 과거까지의 이미지 집합에 대해 ‘0’(물이 필요없음) 레이블을 부여한다.
•
또한, 본 발명에 따른 데이터와 레이블 쌍으로 전환하는 방법은 모델 추론 결과와 반대되는 동작을 가끔씩 강제로 실행하며 사용자가 절수가 가능한 상황에서 물을 틀고 있는 것은 아닌지 확인하여 편향된 데이터 수집을 방지하는 방법을 포함한다.
•
수전을 제어하기 위해 학습된 무거운 인공지능 모델은 전력 낭비를 발생시킨다. 상기 캐스캐이딩 시스템은 (1) 마이크로 컨트롤러에 부착된 모션 감지 센서를 통해 움직임이 인식되는 경우, (2) 소형 컴퓨터와 이미지 센서가 작동하기 시작하고, (3) 이미지 센서를 통해 들어온 입력을 저전력 소형 모델을 통해 현재 움직임이 설거지를 하는 행위인지 판단하여, (4) 만약 현재 움직임이 설거지를 하는 움직이라고 판단되는 경우, (5) 수전 제어 인공지능 모델이 실행되는 방식으로 구성된다.
•
또한 본 발명에 따른 수전 장치의 캐스캐이딩 시스템은 더 효과적인 절전을 위해 모션 감지 센서를 포함할 수 있다.
•
도 3을 참조하면, 본 발명의 수전 시스템을 위한 MLOps 동작 방식은, 수전 시스템을 통해 원천데이터를 수집하여 제 1 정보가 생성되는 제 1단계, 데이터 선별 워크플로를 통해 제 2 정보가 생성되는 제 2단계, 클라우드 데이터 스토리지에 상기 제 2 정보가 전달되는 제 3 단계, 제 2 정보를 주기적으로 모니터링하는 제 4 단계, 모델 스토리지에 모델 재학습을 위한 기존 모델을 요청하는 제 5단계, 제 2 정보와 제 5단계에서 받은 기존 모델로 재학습을 실행하는 제 6단계, 제 6단계에서 만들어진 신규 모델을 배포하는 제 7단계를 포함할 수 있다.
•
상기 제 2단계는 도2 의 데이터 선별 워크플로로, 수전 시스템의 자동 레이블링 과정에 해당하며, 원천데이터를 학습 데이터로 가공한다. 학습데이터 정보는 이미지, 타임스탬프, 레이블, 메타데이터 등을 포함 할 수 있다.
•
또한, 상기 제 7단계는, 신규 모델을 모델 스토리지로 보내는 제 7-1단계와 모델을 사용자에게 배포하는 제 7-2단계를 포함할 수 있다.
4. 발명의 효과
•
원시 데이터와 그 레이블은 한 사람이 가공하고 정제하는 것이 아니고, 여러 사람이 작업하며, 까다로운 테스트를 거친다. 이렇게 정제되어 레이블링과 검증을 마친 데이터가 비로소 학습에 사용될 수 있다. 이렇게 재학습된 모델의 가중치를 다시 배포 환경으로 보내는 것도 매우 번거로운 작업이다.
•
본 발명이 제안하는 MLOps 시스템은 수전 손잡이 조작을 통해 지속적 학습을 위해 데이터 수집이 자동화되는 피드백 루프를 포함한다. 이 시스템을 도입하면 학습된 가중치 파일이 빠르게 배포되어 사용자가 수전 성능의 개선을 체감하기까지의 주기가 크게 단축되어 전술한 문제점을 해소할 수 있다. 이 시스템은 수전에 MLOps을 도입함으로써 사용자의 편의를 고려한 절수 시스템을 만들며 데이터를 모아 모델을 업데이트하기 어렵다는 문제를 해결하는 동시에 해결한다.
•
이를 통해 사용자가 직접 제어하지 않아도 수전 시스템의의 자동 절수 기능이 개선되어 시간이 지날수록 절수 효과가 점차 나아질 수 있다.
청구항
1.
전체적인 그림
청구항 1
외부로부터 물이 유입되는 연결관이 부착된 수전 몸체;
상기 수전몸체와 연결되어 물이 토출되는 토수구;
상기 수전 몸체와 연결관 사이에 부착되어 물이 토출되거나 토출되지 않도록 조절하는 개폐밸브;
사용자의 설거지 상황을 인식하여 제어부로 송신하는 이미지 센서;
상기 이미지 센서가 촬영한 이미지를 판단하여 개폐 밸브의 동작 여부를 판단하는 판단부;
상기 판단부의 동작 여부를 수신하여 개폐 밸브의 동작을 제어하는 제어부;
수전의 동작이 사용자가 원하는 동작이 아닐 경우 사용자의 신호를 수집하고 재 학습하는 피드백부;
수전을 사용하지 않을 때 낭비되는 전력량을 줄이기 위한 절전부;
를 포함하는 것을 특징으로 하는 자동 수전 개폐 장치.
2.
수전의 현재 개폐 여부를 판단하는 자석 센서가 부착된 특징을 가진 수전. 사용자의 피드백 여부를 판단하는 자석 센서가 부착된 특징을 가진 수전.
청구항 2
제1항에 있어서,
상기 수전 몸체에는,
현재 수전 상태의 개폐 여부를 인식하는 자석 센서;를 더 포함하고
상기 자석 센서의 상태를 상기 피드백부의 제1학습요소로 활용하는 특징을 가진 수전 장치.
상기 자석 센서는 상기 판단부의 결과인 현재 급수 상태가 불만족한 사용자가 일정 시간 내에 수전 손잡이를 조작하여 급수 상태를 변경 했을 경우 사용자가 급수 상태를 변경했다는 신호로 사용되는 특징을 가진 수전 장치.
3.
토출구에 부착된 이미지 센서가 촬영한 이미지를 보내는 특징을 가진 수전.
청구항 3
제1항에 있어서,
상기 이미지 센서는 사용자의 손, 식기, 수세미, 물의 급수 상태 등 상기 수전 몸체에서 설거지 통으로 내려다보이는 요소들을 촬영하여 제어부로 송신하는 것을 특징으로 하는 이미지 센서를 이용한 수전 장치.
4.
진동감지 센서의 활용
•
작성 방향: 사용자의 편의를 증진시키고; 데이터 레이블링 기능이 포함되어 있는; 물을 켤 수 있는; 수전에 부착된; 진동감지 센서
청구항 4
제 1항에 있어서,
상기 진동 감지 센서는 설거지통에 부착되어 급수되지 않는 수전에서 사용자가 급수를 원할 때 설거지통을 두드림으로서 급수를 하게 하는 기능을 하고, 상기 판단부에 현재 급수 상태에 오류가 있음을 피드백 할 수 있는 기능을 하는 특징을 가진 수전 장치.
5.
MLOps 전체 파이프라인 관련 내용
•
작성 방향: 수전에 있어; 데이터 검증, 재학습, 배포.
청구항 5
제1항에 있어서,
상기 피드백부는,
사용자의 급수 요청 신호를 수집하는 진동 감지 센서; 를 더 포함하고
MLOps 원리를 이용하여 추가학습 데이터;를 만들고 상기 판단부가 사용하던 모델에 재 학습 하고 배포하는 클라우드로 구성되어, 사용자의 패턴에 맞춰 변화하는 특징을 가진 수전 장치.
6.
MLOps가 사용하는 데이터 관련 내용.
•
작성 방향: 사용하는 데이터는 위에서 작성되어 있는 청구항들의 집합이다.
청구항 6
제5항에 있어서,
상기 추가학습 데이터는,
상기 제1학습요소,
상기 판단부의 판단 상태인 제2학습요소,
상기 진동 감지 센서의 신호와 현재 급수 상태가 아닌, 사용자가 상기 수전 몸체를 조작하여 변화하는 상기 자석 센서의 신호를 포함하는 제3학습요소를 활용하고,
상기 이미지 센서에서 수집한 이미지;
를 한 세트로 레이블링한 것을 특징으로 하는 수전 장치.
7.
에너지 절약을 위한 캐스캐이딩 관련 내용
•
수전 시스템의 에너지 절약을 위한 설거지 상황
청구항 7
제1항에 있어서,
상기 절전부는,
수전을 사용하는 움직임을 인식하는 움직임 감지 센서;
감지된 움직임이 설거지인지 판별하는 소형 컴퓨터;
를 포함하고 캐스캐이딩 원리를 사용하여 사용자가 설거지 이외의 행동을 할 때는 전력을 많이 사용하는 상기 판단부를 작동하지 않는 특징을 가진 수전 장치.
8.
움직임 감지 센서 활용.
청구항 8
제7항에 있어서,
상기 소형 컴퓨터는 수전에 움직임이 감지되지 않을 때는 상기 움직임 감지 센서만 동작하고, 상기 움직임 감지 센서에 동작이 인식되면 상기 이미지 센서에서 이미지를 수집하여 동작이 설거지인지 확인한 후, 설거지 동작일 경우 상기 판단부를 동작하여 전력을 많이 소모하는 상기 판단부가 전력을 낭비하지 않도록 하는 특징을 가진 수전 장치.
참고문헌
•
비접촉식 물 공급 장치
◦
2018, 스마트 수도꼭지 시스템 (통신망을 통해 상기 제어부에 조작신호를 전송하여 물의 유량과 온도를 조절하는 어플리케이션이 탑재된 스마트폰과 복잡한 수도꼭지 장치를 이용하여 배출되는 물의 온도와 양을 원격으로 조절)
◦
2020, 마이크로웨이브 모션 센서 기반의 급수 시스템 및 그 방법 (사용자를 인식함으로써 인식 정보를 획득하는 모션 센서 기반의 모듈을 이용하여 인식 및 분사량 등 제어)
◦
2021, 제스쳐 센서를 이용한 수전장치 (수전과 직접 접촉하지 않고도 사용자의 제스쳐를 감지하여 물의 토출 여부를 제어할 수 있음)
•
영상 데이터와 이미지 분석 기술을 이용한 사용패턴 분석 기반의 물 분사 제어
◦
스탠포드 대학교의 연구 (AI를 이용하여 설거지 중 물을 꺼야 하는 상황과 켜야 하는 상황을 자동으로 식별하여 물을 절약함)
▪
기사: 2019, Stanford researchers find smart faucets could aid in water conservation
▪
논문: 2019, A WIZARD-OF-OZ EXPERIMENT TO DEMONSTRATE WATER REDUCTION AND USER TRAINING WITH AN "AUTONOMOUS" FAUCET
•
MLOps
◦
2021, 의료빅데이터를 위한 MLOps기반 연동시스템 구축 및 운영 방법