Motion Change Detection Function

강의자의 수업 PPT 자료를 텍스트로 변환해주는 기능이 EDU_Siri에 존재한다.

PPT 자료를 텍스트로 변환해주기 위해서는 PPT 내용의 변화가 있는 지 체크해야 한다. 만약 PPT 내용에 변화가 있을 시, PPT자료를 사진으로 찍어 저장-> 글자 인식 -> 텍스트 파일로 저장 하는 과정을 거친다. 

 

여기서 PPT 내용에 변화가 있는 지 감지하고 움직임 포착 시, 해당 화면을 저장하는 함수가 motion change detection이다.

모션 캡쳐의 경우, 좋은 레퍼런스들이 많아서 알고리즘을 크게 바꾸거나 새로 구현할 필요가 없었다.

 

하지만, 일반 예제 코드들을 그대로 이용하면 프레임 단위로 사진을 저장해서 불필요할 정도의 많은 사진이 저장된다. 이는 용량 차지 문제와 프로그램 최적화 문제를 일으킨다. 따라서 나는 2초마다 모션 변화를 체크하고 저장하는 코드를 추가했다.

 

1. Load Video File & Basic Set up

cap = cv.VideoCapture(video_name)
fgbg = cv.createBackgroundSubtractorMOG2(history=500, varThreshold=500, detectShadows=0)
# 지정된 시간마자 찍기 위한 세팅
start_time = int(time.time())
# 파일 이름 세팅
i = 0

while(1):
    instant_time = int(time.time())
    # 동영상의 현재 프레임 수(POS_FRAMES)와 총 프레임 수(FrAME_COUNT)를 가져온다.
    # 현재 프레임 수 == 동영상 총 프레임 수 -> 종료
    if(cap.get(cv.CAP_PROP_POS_FRAMES) == cap.get(cv.CAP_PROP_FRAME_COUNT)):
        break
    ret, frame = cap.read()

    width = frame.shape[1]
    height = frame.shape[0]
    frame = cv.resize(frame, (int(width*0.8), int(height*0.8))) # 보여질 영상 크기

 

2. Subtract Background & Get Object Info

fgmask = fgbg.apply(frame) # 배경 제거
nlabels, lables, stats, centroids = cv.connectedComponentsWithStats(fgmask)

영상 속 객체의 움직임 변화를 감지하는 것이 목적이다. 객체 외 나머지는 필요가 없으므로 fgbg.apply함수를 통해 나머지 객체 외 나머지 요소들을 모두 제거해준다. 배경을 제거하면 아래와 같이 나온다.

이제 객체의 정보값을 가져와보자. connectedComponentWithStats 함수를 이용하면 위 4가지 요소를 가져올 수 있다. 위 요소들에 대한 설명은 아래와 같다.

retval
label - 객체에 번호가 지정된 레이블맵
stats - N행 5열, N은 객체수 + 1, 각각의 행은 번호가 지정된 객체를 의미, x와 y는 좌측 상단 좌표, area는 면적&픽셀의 수
centroid - N행 2열, x,y 무게중심 좌표

객체의 전체 면적의 변화, 좌표값 변화, 무게중심 변화 이렇게 3가지만 있으면 객체 움직임을 감지할 수 있다. 따라서 stats, centroid 두 값만 가져온다.

 

3. Check Object's motion & Save

for index, centroid in enumerate(centroids):
    if stats[index][0] == 0 and stats[index][1] == 0:
        continue
    if np.any(np.isnan(centroid)):
        continue

    x, y, width, height, area = stats[index]
    centerX, centerY = int(centroid[0]), int(centroid[1])

    # 영상의 움직임 범위 = area
    if(area > 400):
        if(instant_time > start_time+2):
            cv.imwrite("%s/%s.png" % (dir_name,  i), frame)
            start_time = instant_time
            
cv.imshow('mask', fgmask)
cv.imshow('frame', frame)

받아온 객체의 움직임 정보값과 area값을 비교하여 적정 값을 초과 시, 해당 화면을 스크린샷으로 찍어 파일에 저장한다. 위 코드를 돌려보면 아래와 같이 변화된 값을 감지한다.

 

Full Code

def motion_change_detection(video_name, dir_name) -> str:
    base_path = os.getcwd()
    video_name = base_path + "\\video\\" + str(video_name)
    cap = cv.VideoCapture(video_name)

    fgbg = cv.createBackgroundSubtractorMOG2(history=500, varThreshold=500, detectShadows=0)
    # 지정된 시간마자 찍기 위한 세팅
    start_time = int(time.time())
    # 파일 이름 세팅
    i = 0

    try:
        while(1):
            instant_time = int(time.time())
            # 동영상의 현재 프레임 수(POS_FRAMES)와 총 프레임 수(FrAME_COUNT)를 가져온다.
            # 현재 프레임 수 == 동영상 총 프레임 수 -> 종료
            if(cap.get(cv.CAP_PROP_POS_FRAMES) == cap.get(cv.CAP_PROP_FRAME_COUNT)):
                break
            ret, frame = cap.read()

            width = frame.shape[1]
            height = frame.shape[0]
            frame = cv.resize(frame, (int(width*0.8), int(height*0.8))) # 보여질 영상 크기

            fgmask = fgbg.apply(frame) # 배경 제거
            nlabels, lables, stats, centroids = cv.connectedComponentsWithStats(fgmask)

            for index, centroid in enumerate(centroids):
                if stats[index][0] == 0 and stats[index][1] == 0:
                    continue
                if np.any(np.isnan(centroid)):
                    continue

                x, y, width, height, area = stats[index]
                centerX, centerY = int(centroid[0]), int(centroid[1])

                # 영상의 움직임 범위 = area
                if(area > 400):
                    if(instant_time > start_time+2):
                        cv.imwrite("%s/%s.png" % (dir_name,  i), frame)
                        start_time = instant_time
                        i += 1
            cv.imshow('mask', fgmask)
            cv.imshow('frame', frame)

            k = cv.waitKey(30) & 0xff
            if k == 27:
                break
        cap.release()
        print("\n+==================================+")
        print("| Detecting motion change is done! |")
        print("+==================================+")
        #cap.destoryAllWindows()

    except OSError:
        error("Failed to save file in directory that you want. Please check permission of directory or check filename")