EDU_Siri program has a function that converts the instructor's voice into a text file and saves it. I thought I'd write down some of the things I learned and struggled with while implementing this feature. I can search "speech_recognition" library when googling. Initially, I decided to use this module, but there were two factors hat made it unsuitable for development. While googling about "speec..

The basic information about Text Summarization is described in here. There are many documents and description about Text Summarization, but no appropriate code so I made my own. Many documents that I found by googling take articles or journals and run text summarization in abstractive way. In my testing of various articles, I found that abstractive mode made the article easier to understand and ..

Edu_Siri에서 프로그램 동작 흐름은 아래와 같다. 원하는 동영상 삽입 -> 움직임 감지 및 화면 캡처 -> 캡처된 사진 간 유사도 비교 -> 글자 인식 움직임 감지 및 화면 캡처 관련은 이전 글을 참고하자. 이전 글에서 화면 캡처 시, 사용자가 디렉토리를 지정하면 지정된 이름으로 디렉토리 생성 후, 캡처본을 해당 파일 안에 저장한다. 이 캡처본을 훑으면서 이전 사진과 다음 사진 간의 유사도를 체크하면 된다 1. Check directory & Similarity between images # 파일 속 이미지들 모두 검사 def file_listing(path)->str: files = os.listdir(path) for i in range(1, len(files)): comparePic(path,..

강의자의 수업 PPT 자료를 텍스트로 변환해주는 기능이 EDU_Siri에 존재한다. PPT 자료를 텍스트로 변환해주기 위해서는 PPT 내용의 변화가 있는 지 체크해야 한다. 만약 PPT 내용에 변화가 있을 시, PPT자료를 사진으로 찍어 저장-> 글자 인식 -> 텍스트 파일로 저장 하는 과정을 거친다. 여기서 PPT 내용에 변화가 있는 지 감지하고 움직임 포착 시, 해당 화면을 저장하는 함수가 motion change detection이다. 모션 캡쳐의 경우, 좋은 레퍼런스들이 많아서 알고리즘을 크게 바꾸거나 새로 구현할 필요가 없었다. 하지만, 일반 예제 코드들을 그대로 이용하면 프레임 단위로 사진을 저장해서 불필요할 정도의 많은 사진이 저장된다. 이는 용량 차지 문제와 프로그램 최적화 문제를 일으킨다..

EDU_Siri에는 "동영상 속 강의자의 음성을 텍스트로 변환하여 파일에 저장"하는 기능이 있다. 이 기능을 구현하면서 얻었던 지식들과 삽질했던 내용들을 적어볼까 한다. 구글링을 하면 대표적으로 speech_recognition 라이브러리가 나온다.개발 초기에는 이 모듈을 이용하려 했으나, 개발에 부적합한 2가지 요소가 있었다. Speech_recognition을 검색하면 대부분, 마이크를 통해 음성을 Input하고, 이 Input 값들을 텍스트로 변환하는 예제 코드를 소개한다. 내가 구현하려는 기능은 마이크로 음성을 Input하는 게 아니므로 다른 방식의 코드 구현이 필요했다. 위 모듈이 비디오 음성을 텍스트로 변환하게 할 수는 있다. 다만, 해당 모듈이 용량 제한이 존재한다. 100MB까지만 비디오 ..

Text Summarization에 대한 기본적인 설명은 이 글을 참조하자. Text Summarization에 관련된 설명과 코드들은 구글에 많이 존재하나, 나의 프로젝트에 적합한 코드가 따로 없어 제작했다. Text Summarization과 관련된 글들을 보면 거의 온라인에 있는 Article이나 Journal 들을 가져와 Abstractive Text Summarization을 실행한다. 각 방식의 장단점이 존재하지만, 내가 여러가지 글들을 테스트해 본 바로는 Abstractive 방식이 더 이해하기 쉽게 글을 제공했다. 또한 기존 글이 전달하고자 하는 느낌, 의미들을 더 잘 살린 결과물을 내놨다. 그러나 내 프로젝트의 경우, 일반적인 Text Summarization 코드들과 전제 조건부터가 다..