오늘의 목표¶

• Exploration 노드에 나온 openCV 활용방법 복습하기

Exp 3. 카메라 스티커앱 만들기 첫걸음¶

전처리 - 이미지를 불러와서 리사이징하기¶

Q1. 이미지 하나를 불러와서 아래의 코드에 적용해 봅시다 :)....

Exp 10. 인물사진 모드¶

Q2. 아래의 소스코드는 무엇을 하는 코드인가요? CV는 쬐금 나오지만.. 어..쨌든... 한번 되짚어봅시다.

이 문법 기억하시죠?¶

Q3. 주석 달아 달라는 이야기입니다.... ㅋㅋㅋ 아래의 코드에서 각 옵션들이 어떤 의미었는지 기억하시리라 믿어요! 각 함수들이 어떻게 작용하고 왜 필요한 것인지 개념을 정리해주세요.

배경 흐리게 처리하기¶

배경과 사람 합성하기¶

Fund 20. 파이썬으로 이미지파일 다루기¶

Pillow를 설명하더군요. 집어왔습니다.¶

Q4. 가로 세로 각 128 픽셀짜리 흰색 이미지를 만들어 화면에 표시해 봅시다.

Q5. 연습용 이미지를 열어 width와 height를 출력하고, .save()를 이용하여 jpg 파일 포맷으로 저장해 봅시다.

펀더멘탈에서 설명하는 openCV¶

Q6. 각 코드를 설명해주세요!

CV를 활용하여 비슷한 색깔 분포의 이미지 찾아내기¶

• 서로 다른 이미지 10장을 준비해주세요.

• Q7. 아래 가이드 페이지를 참고하여 입력한 이미지의 색상별 히스토그램을 반환하는 함수를 작성해봅시다.
• 가이드페이지

오늘의 목표! (얼룩말 책 9장_개정판 10장)¶

목차¶

1. 파이썬 객체검출이란?
2. 텐서플로우
3. 객체 검출
4. 정규 표현식
5. 객체 추적
6. 객체 인식

1. 파이썬 객체 검출이란?¶

• 객체 검출 : 이미지에서 의미있는 객체를 탐지하는 알고리즘이미지 상에서 여러 객체를 식별하고 분석하는 것은 컴퓨터 비전의 궁극적인 목표 중 하나로서, 객체 검출을 통해 특정 사물이나 동물 등을 탐지해서 어떤 의미를 지닌 객체임을 인식하는 데 사용할 수 있다.

• 검출은 이미지에서 특정 클래스(사람, 건물, 대상)를 찾는 것 이며,
• 인식은 검출된 대상이 어떤 객체인지 식별하는 것을 의미한다.
• 사진에서 얼굴 검출(얼굴을 찾기) -> 얼굴 인식(누구인지 알기)
• 객체 검출은 머신러닝을 활용해 해당 객체만이 갖는 특징을 분석하여 찾는다. 각 객체가 갖는 특정 패턴을 찾아 학습을 진행한다.
• 객체 검출을 위한 단계는 크게 세 가지로 나눌 수 있다.
  ###### 1. Tensorflow object detection api의 학습이 완료된 모델 그래프로 이미지 상에서 객체를 검출

    - COCO 데이터셋 활용
  

  ###### 2. 라벨 맵을 불러와 검출되 객체의 이름을 표시한다.

    - 프로토콜 버퍼 형식의 라벨 맵 파일 사용       
    - 이 때, 프로토콜 버퍼를 읽기 위해 정규표현식을 활용해 내용을 리스트나 딕셔너리 형식으로 변환
  

  ###### 3. 모델을 통해 검출된 정보와 라벨 맵의 정보를 매칭시켜 OpenCV 라이브러리로 이미지 위에 표시

• 각 단계는 다양하게 응용될 수 있다. ex) 학습이 완료된 모델 그래프를 활용하여 문자열 검출 등에 활용 등..

2. 텐서플로우¶

• 텐서플로우는 구글 브레인팀에서 제작하였으며, 아파치 라이선스 2.0 으로 공개되어 있다.
  • 아파치 라이선스 : 해당 소프트웨어에서 파생된 프로그램을 제작할 수 있으며, 저작권을 양도, 전송할 수 있는 라이선스
• 텐서플로우는 파이썬의 Numpy 라이브러리를 활용하여 수학적인 계산을 자동으로 처리한다.
• 파이썬, C, C++, R 등에서 지원한다.
• CPU와 GPU를 활용해 연산을 진행한다.
• 텐서플로우는 NVIDIA 그래픽카드만 지원한다...!
• 아나콘다를 활용해 텐서플로우를 설치한다.

Q1. tf.version 명령을 통해 설치된 텐서플로우 버전을 확인해봅시다.

• 텐서플로우 설치 후, Tensorflow detection model zoo 를 활용할 수 있다.
• pre-trained된 모델 중 COCO 데이터셋으로 훈련된 모델을 사용해 예제를 진행해보자.

Q2. 이 예제에서는 SSD MobileNet v2 320x320 모델을 사용합니다. 해당 모델을 다운로드해봅시다.

Q2는 여기를 참조 : SSD MobileNet v2 320x320를 다운로드합니다.

Q3. 마찬가지로, 객체 이름을 표시하기 위해 라벨 파일이 저장된 페이지를 방문하여 라벨 맵을 다운로드해봅시다.

Q3는 여기를 참조 : mscoco_label_map.pbtxt를 다운로드합니다.

3. 객체 검출¶

• 훈련된 추론 모델을 읽어 파이썬에서 활용하려면 Tensorflow I/O 래퍼를 활용한다.
• 로컬을 비롯해 구글 클라우드나 하둡에서도 데이터를 읽어올 수 있다.
• I/O 래퍼는 텍스트, 이진(binary), 로우(raw) 파일을 불러올 수 있다.
• 텐서플로우 파일시스템 함수로 추론 모델 그래프 파일을 불러온다.

Q4. 예제 9.2(그래프 정의) 를 참조하여 그래프를 읽어오세요.

• 학습된 모델 그래프 파일은 이진(binary) 파일이므로 이진 모드로 열어서 읽는다.
• 따라서 텐서플로우 파일 시스템 모드로 rb(read, binary)를 사용한다.

Q5. 동영상을 읽어오고, 이를 불러온 그래프에 적용할 수 있도록 한다. (구판과 개정판의 소스코드가 다르므로, 개정판 깃헙을 참고하였습니다.)

• 위에서 사용한 동영상은 여기서 View raw를 눌러 다운받으세요.

• 위의 예제를 통해, 불러운 동영상의 프레임마다 객체를 분석할 수 있도록 준비한다.
• 위의 소스코드에서 에러가 난다면, 아마 학습된 이미지와의 사이즈 차이 때문일 것이다.
  (구판에서는 소스코드에 이미지 리사이즈 코드가 포함되어 있습니다.)

• 동영상에서 프레임을 불러와, 이 프레임을 추론할 이미지로 변경한다.
• 추론 모델은 RGB 채널, 320X320 크기에서 추론을 수행하므로 각각의 프레임을 이에 맞추어 변경해준다.

• 여기부터는 완전 설명이 다르기 때무네... 발표할 때 개정판을 가진 분들의 해설을 기다려봅니다.

Q6. 아래의 full 버전 코드에 직접 주석을 달아보며 흐름을 파악해봅시다.

4. 정규표현식¶

• 프로그래밍에서 사용하는 형식 언어
• 특정한 규칙을 가진 문자열을 검색, 분리, 치환하는 데 주로 활용됨
• 특정한 패턴과 일치하는 텍스트를 입력값에서 찾아 반환한다.
• 정규 표현식을 사용하지 않는 경우 매우 복잡한 코드를 작성해야 하지만, 정규표현식을 활용할 경우 코드가 매우 간결해지며 유사한 문자까지 일치시켜 검색할 수 있다.

• 정규표현식으로 라벨 맵 파일에서 특정 패턴을 찾으려면 라벨 맵 파일의 구조를 알아야 한다.
• 라벨 맵 파일 구조는 다음과 같다.

• item 필드 안에 사전 형식의 name, id, display_name 으로 구성되어 있다.
• 라벨 맵 파일에서 필요한 값은 id와 display_name 이다.
• 따라서, 라벨 맵 파일에서 시각적으로 확인할 수 있는 이름을 가져오기 위해 파이썬에 내장된 파일시스템 함수를 활용한다.

Q7. 아래 예제를 실행시키고 결과를 확인해보세요.

• 이제 내부를 확인했으므로, 정규표현식 함수를 통해 파싱한다.
• 정규표현식을 활용하기 위해 import re 하여 패턴과 일치하는 문자열을 반환한다.

Q8. re.findall() 함수와 re.search() 함수를 설명하는 공식 가이드를 찾아보고, 각각의 옵션을 설명해주세요.

Q9. 아래의 예제(정규표현식을 활용해 입력 문자열에서 패턴 검출하기)를 수행하고, 주석을 달아보세요.

• 정규 표현식의 패턴을 구성할 때, 일반적으로 패턴의 문자열은 로 문자열 표기법(raw string notation)으로 작성한다.
• 로 문자열 표기법은 문자열에 'r'을 포함하여 작성한다.

Q10. 아래의 코드는 텐서플로우를 활용한 객체 검출의 전체 코드입니다. 전체 순서를 파악해보세요.

5. 객체 추적¶

• 이전까지의 스텝이 이미지 안의 특정 객체를 검출하는 기술을 살펴봤다면, 이제는 객체의 움직임을 추적하는 알고리즘을 살펴보자.

• 객체 추적은 영상에서
  1. 객체의 움직임
  2. 누적 경로
  3. 예상 경로
  4. 속도
  5. 속력 등을 확인하는 기술이다.

• 주요 추적 방식으로는
  1. 특징점 추적(Point Tracking) : 움직이는 객체의 특징점을 찾음
  2. 커널 기반 추적(Kernel based Tracking) : 일정 영역 내부의 움직임을 찾음
  3. 실루엣 기반 추적(Silhouette based Tracking) : 복잡한 형태를 단순화하여 움직임을 찾음
     등이 있다.

• 광학 흐름(Optical Flow)를 통해 위와 같은 방식의 움직임을 검출할 수 있다.
• 광학 흐름은 영상 내 물체의 움직임 패턴을 말한다. 이전 프레임과 다음 프레임 간 픽셀이 이동한 방향과 거리 분포이다.
• 밝기 변화가 거의 없고, 일정 블록 내의 모든 픽셀이 모두 같은 운동을 한다고 가정하여 움직임을 추정한다.
• 다른 방식으로는 특정 점만 사용하거나, 일정 블록 내의 움직임을 판단하여 감지하는 방식이 있다.
• 주로 동작 감지, 물체 추적, 구조 분석에 이용한다.

• 여기서는 파네백 광학 흐름(다항식 확장 알고리즘)을 활용해, 각 픽셀의 이웃을 근사해 객체를 추적한다.
• 밀집 광학 흐름(Dense optical flow) 중의 하나이며, 이미지의 모든 픽셀에 모션 벡터를 각각 할당한다.
• 특징 점에 집중하는 것이 아닌 모든 점에 대해 밀도가 높은 광학 흐름을 찾으므로, 정확도는 높지만 연산량이 많아진다.

Q11. 다른 밀집 광학 흐름 알고리즘도 있을까요? 밀집 광학 알고리즘에 대해 알아보고 요약하여 알려주세요.

파네벡 광학 흐름 함수¶

• 이 블로그 주인분이 설명을 잘 해놓으셨더군요

• 파네벡 광학 흐름 함수는 8비트 단일 채널 이미지인 이전 프레임과 다음 프레임을 사용하여 두 프레임 간의 광학 흐름을 계산한다.

• 따라서, 이전 프레임과 비교하여 객체의 움직임과 방향을 위와 같이 표시할 수 있게 된다.

Q12. 파네벡 광학 함수를 파이썬 공식 가이드에서 찾아, 옵션을 설명해보세요.(cv2.calcOpticalFlowFarneback)

Q13. 위에서 주석처리된 함수는 어떤 기능을 하나요? 이 추가된 줄들은 어떤 역할을 하기 위해 추가되었나요?

파네벡 광학 흐름을 적용하여 객체 내부의 흐름을 시각적으로 표현한 소스코드¶

• 파네벡 광학 흐름 함수 적용 부분을 표시하기 위해 극좌표 변환 함수 가 추가되었다.
• 해당 내용을 살펴보자.

• 파네벡 광학 흐름 함수는 프레임 내의 모든 픽셀에 대한 광학 흐름을 찾으므로 정확도는 높지만 연산량이 많다.
• 파네벡 함수는 검출 결과를 x와 y 성분으로 반환해 이미지 형태로 표시하기 어렵다.
• 하지만 극좌표 변환 함수와 정규화 함수를 활용하면 좌표 성분을 벡터의 길이와 각도로 변환해 이미지 형태로 구성할 수 있다.

직교좌표계와 극좌표계 : 이 블로그 정리가 아주 깔끔하네요!

루카스 카나데 알고리즘¶

• 우리는 앞에서 파네벡 광학 흐름 함수를 살펴보았지만, 이 알고리즘은 특성상 계산 과정이 복잡하고, 모든 픽셀에 대해 움직임을 계산하므로 cost가 많이 든다.
• 이를 해결하기 위해 우리는 영상에서 트래킹하기 쉬운 몇 개의 특징점을 검출해 해당 특징점에 대한 광학 흐름을 계산하는 희소 광학 흐름(Sparse optical flow) 알고리즘인 루카스 카나데 알고리즘을 알아본다.
• 희소 광학 흐름은 특징점에 대해서만 광학 흐름을 계산하므로, 연산시간이 짧고 신뢰도가 높지만, 특징점을 제대로 검출하지 못할 때 정확성이 떨어진다는 단점이 있다.

• 루카스 카나데 알고리즘은 기본적으로 다음의 세 가지 가정에 의해 광학 흐름을 판단한다.
  1. 밝기 항상성(Brightness Constancy) :
     • 프레임 내의 객체는 프레임 사이에서 움직이기 때문에 객체를 구성하는 픽셀은 변하지 않을 것이고, 따라서 그레이 스케일 이미지에서 트래킹을 시도할 때 픽셀의 밝기는 변하지 않는다.
  2. 시간적 지속성(Temporal Coherence) :
     • 프레임 내 객체의 움직임은 프레임 변화에 비해 느리게 움직인다. 프레임 간의 객체의 움직임은 거의 없어 상대적으로 객체는 움직임이 적다.
  3. 공간적 지속성(Spatial Coherence) :
     • 프레임 내에서 인접한 픽셀들은 같은 객체로 볼 수 있으며 해당 픽셀은 동일한 움직임을 보인다.

• 루카스 카나데 알고리즘은 윈도우에 대한 정보로 움직임을 검출 하기 때문에 희소 상황에서도 높은 검출율을 보일 수 있으나, 윈도우는 프레임에 비해 작은 크기를 가지므로 큰 움직임이 발생할 경우 윈도우 외부로 픽셀이 움직일 수도 있어 검색이 어려울 수도 있다.
• 윈도우 크기에 따른 불확실성을 감소시키기 위해, 이미지 피라미드를 활용한다. 가장 상단의 피라미드에서 광학 흐름을 계산하고 다음 피라미드에서 추정 결과를 사용한다. 이 연산을 가장 하단의 피라미드에 닿을 때까지 반복해 초기 가정을 개선한다.

Q14. 루카스 카나데 함수를 파이썬 공식 가이드에서 찾아, 옵션을 설명해보세요.(cv2.calcOpticalFlowPyrLK)

Q15. 위에서 주석처리된 함수는 어떤 기능을 하나요? 이 추가된 줄들은 어떤 역할을 하기 위해 추가되었나요?

6. 객체 인식¶

• 위에서 활용한 방법은 텐서플로우를 활용해 객체를 검출하고, 인식하였다.
• 이제 OpenCV 함수로 객체를 인식해보자.
• 학습이 아닌 방법으로 객체를 인식하기 위해서는 특징점(Key Point)과 기술자(Descriptor)를 활용한다.

• 특징점 : 영상에서, 배경과 구분될 수 있는 객체의 고유한 식별 지점
• 서로 다른 이미지에서도 하나 이상의 점으로 특별하게 구분할 수 있는 작은 부분 ex)해리스 코너
• 기술자 : 서로 다른 이미지에서 특징점이 어떤 연관성을 가졌는지 구분하게 함
• 기술자는 각 특징점이 가진 지역적 특징 정보를 가지고 있음 서로 다른 특징점에서 차이를 구분해 특징점끼리 서로 매칭되게 함

• 앞서 배운 광학 흐름은 유사한 프레임 간에 특징점을 찾아 프름만을 계산하고, 객체의 구성요소나 식별 정보를 파악하지는 않는다.
• 하지만 기술자는 유사한 이미지 뿐만 아니라 완전히 다른 이미지도 매칭할 수 있다.
• 기술자를 응용하면 완전히 다른 이미지나 빠른 프레임에서도 객체를 추적할 수 있게 된다.
• OBR(Oriented FAST and rotated BRIEF) 알고리즘은 FAST(Feature from Accelerated Segment Test) 알고리즘, BRIEF(Binary Robust Independent Elementary Features) 알고리즘, 해리스 코너 알고리즘을 결합한 알고리즘이다.
  1. FAST 알고리즘 :
     • 픽셀 P와 픽셀 주변의 작은 원 위에 있는 픽셀의 집합을 비교하는 방식
     • 픽셀 P의 주변 픽셀에 임계갓을 적용해 어두운 픽셀, 밝은 픽셀, 유사한 픽셀로 분류해 원 위의 픽셀이 연속적으로 어둡거나, 밝아야 하며 이 연속성이 절반 이상이 돼야 한다. (이 조건을 만족한 경우 해당 픽셀은 우수한 특징점이다.)
  2. BRIEF 알고리즘(== 칼론더 피쳐) :
     • 특징점을 검출하는 알고리즘이 아니라, 검출된 특징점에 대한 기술자를 생성하는데 사용
     • 특징점 주변 영역의 픽셀을 다른 픽셀과 비교해 어느 부분이 더 밝은지를 찾아 이진 형식으로 저장. 가우시안 커널을 사용해 이미지를 컨벌루션 처리하고, 피쳐 중심의 가우스 분포를 통해 첫 번째 지점과 두번째 지점을 계산해 모든 픽셀을 한 쌍으로 생성한다. (두 개의 픽셀을 하나의 그룹으로 묶는 방식)

여기 읽어보시면 좋습니다!

파이썬 코드가 나와있습니다.

• ORB 알고리즘은 FAST 알고리즘을 통해 특징점을 검출한다.
• FAST는 코너 뿐만 아니라 가장자리에도 반응하므로, 해리스코너 검출 알고리즘을 통해 최상위 특징점만 추출한다.
• 이 과정에서 이미지 피라미드를 구성해 스케일 공간 검색을 수행하고, 이 크기에 따라 피쳐 주변 박스 안의 강도 분포에 대해 X축과 Y축을 기준으로 1차 모멘트를 계산한다.
• 1차 모멘트는 그래디언트의 방향을 제공하므로 피처의 방향을 지정할 수 있고, 이를 통해 피쳐 벡터를 계산할 수 있다.
• 피쳐는 회전 불변성을 갖고 있으며 방향 정보를 포함하고 있다.

오늘의 실습은 여기까지입니다.¶

긴 실습 수행하시느라 고생하셨습니다! 토요일에 뵐게요 :)

이번주 목표(openCV 머신러닝 공식 가이드)¶

• 얼룩말 책과 노란책의 목차와 서술을 참고하되, 내부 내용은 python opencv machine learning 튜토리얼을 참고하였습니다.

목차¶

1. 머신러닝 개요
2. K-최근접 이웃 알고리즘
   • K-최근접 이웃 알고리즘
   • 적용해보기
3. 서포트 벡터 머신
   • 서포트 벡터 머신 알고리즘
   • 적용해보기

0. 머신러닝 개요¶

• 머신러닝 : 주어진 데이터를 분석하여 규칙성, 패턴 등을 찾고, 이를 이용하여 의미있는 정보를 추출하는 과정을 말함.
• 학습,훈련(train) : 데이터로부터 규칙성을 찾아내는 과정
• 모델 : 학습, 훈련에 의해 결정된 규칙
• 예측, 추론 : 새로운 데이터를 학습된 모델에 입력으로 전달하고 결과를 판단하는 과정

• 머신러닝은 크게 지도학습과 비지도 학습으로 구분한다.
• 지도학습 : 정답을 알고 있는 데이터를 이용하여 학습을 진행하는 방식
• 비지도학습
• 아래의 사진은 지도학습 과정을 이미지로 나타낸 것이다.

• 영상 데이터는 픽셀로 이루어져 있지만, 이 픽셀 값을 그대로 머신러닝으로 사용하지는 않는다.

Why?¶

- 영상 데이터는 조명 변화, 객체의 이동 및 회전 등에 매우 민감하게 반응하므로

So,¶

- 영상의 다양한 변환에도 크게 변경되지 않는 특징 정보를 추출하여 머신 러닝 입력으로 전달함
- ex) 사과와 바나나 사진을 구분한다고 할 때,
    1. 영상의 주된 색상(hue채널)
    2. 객체 외곽선(동그란 사과와 긴 타원형인 바나나)    
    3. 면적 비율

- 다수의 훈련 영상에서 특징 벡터를 추출하고, 이를 이용하여 머신 러닝 알고리즘을 학습시킴

• 지도학습은 주로 회귀 또는 분류에 사용됨
• 회귀 : 연속된 수치 값을 예측하는 작업. ex)학생의 키와 몸무게를 학습한 뒤, 몸무게만 주었을 때 키 예측
• 분류 : 이산적인 값을 결과로 출력하는 머신러닝. ex) 사과와 바나나의 구분(사과-0클래스, 바나나-1클래스)

• 비지도학습은 훈련 데이터의 정답에 대한 정보 없이 오로지 데이터 자체만을 이용한 학습 방식
• 비지도 학습은 주로 군집화에 사용 됨

학습 후 테스트를 위해 영상의 모든 프레임을 학습에 사용하지는 않고, 일부는 분리하여 테스트로 사용하기도 한다.¶

파이썬을 활용한 openCV 머신러닝 튜토리얼¶

K-최근접 이웃 알고리즘¶

A. KNN 알고리즘의 이론¶

• K-최근접 이웃 알고리즘 : 분류 또는 회귀에 사용되는 지도학습 알고리즘
• K-최근접이 분류 태스크에 적용되면 : 특징 공간에서 테스트 데이터와 가장 가까운 k개의 훈련데이터를 찾고, K개의 훈련 데이터를 다수결로 판정하여 테스트 데이터의 클래스를 지정함
• K-최근접이 회귀 태스크에 적용되면 : 테스트 데이터에 인접현 k개의 훈련 데이터의 평균을 테스트 데이터 값으로 설정

kNN is one of the simplest classification algorithms available for supervised learning. The idea is to search for the closest match(es) of the test data in the feature space. We will look into it with the below image.

In the image, there are two families: Blue Squares and Red Triangles. We refer to each family as a Class. Their houses are shown in their town map which we call the Feature Space. You can consider a feature space as a space where all data are projected. For example, consider a 2D coordinate space. Each datum has two features, a x coordinate and a y coordinate. You can represent this datum in your 2D coordinate space, right? Now imagine that there are three features, you will need 3D space. Now consider N features: you need N-dimensional space, right? This N-dimensional space is its feature space. In our image, you can consider it as a 2D case with two features.

Now consider what happens if a new member comes into the town and creates a new home, which is shown as the green circle. He should be added to one of these Blue or Red families (or classes). We call that process, Classification. How exactly should this new member be classified? Since we are dealing with kNN, let us apply the algorithm.

One simple method is to check who is his nearest neighbour. From the image, it is clear that it is a member of the Red Triangle family. So he is classified as a Red Triangle. This method is called simply Nearest Neighbour classification, because classification depends only on the nearest neighbour.

But there is a problem with this approach! Red Triangle may be the nearest neighbour, but what if there are also a lot of Blue Squares nearby? Then Blue Squares have more strength in that locality than Red Triangles, so just checking the nearest one is not sufficient. Instead we may want to check some k nearest families. Then whichever family is the majority amongst them, the new guy should belong to that family. In our image, let's take k=3, i.e. consider the 3 nearest neighbours. The new member has two Red neighbours and one Blue neighbour (there are two Blues equidistant, but since k=3, we can take only one of them), so again he should be added to Red family. But what if we take k=7? Then he has 5 Blue neighbours and 2 Red neighbours and should be added to the Blue family. The result will vary with the selected value of k. Note that if k is not an odd number, we can get a tie, as would happen in the above case with k=4. We would see that our new member has 2 Red and 2 Blue neighbours as his four nearest neighbours and we would need to choose a method for breaking the tie to perform classification. So to reiterate, this method is called k-Nearest Neighbour since classification depends on the k nearest neighbours.

Again, in kNN, it is true we are considering k neighbours, but we are giving equal importance to all, right? Is this justified? For example, take the tied case of k=4. As we can see, the 2 Red neighbours are actually closer to the new member than the other 2 Blue neighbours, so he is more eligible to be added to the Red family. How do we mathematically explain that? We give some weights to each neighbour depending on their distance to the new-comer: those who are nearer to him get higher weights, while those that are farther away get lower weights. Then we add the total weights of each family separately and classify the new-comer as part of whichever family received higher total weights. This is called modified kNN or weighted kNN.

• NN
• KNN
• modified k-nn(weighted k-nn)

고려해야 할 점¶

1. new-comer로 부터 모든 이웃들의 거리를 계산해야 하기 때문에, 모든 '하우스'에 대한 정보를 알아야 함. 하우스가 많다면 그만큼 메모리, 시간 소비량이 늘어날것임
2. 준비 및 훈련에 거의 'zero' 타임이 걸림. 우리의 "학습"은 오직 데이터를 기억하는것에만 국한되기 때문임.

Q1. 아래의 코드를 실행시켜보고 위의 알고리즘을 바탕으로 의미를 분석해보세요.

가벼운 테스팅¶

B. 핸드라이팅 Digits을 분류하는 KNN알고리즘을 실행시켜 봅시다.¶

OCR of Hand-written Digits¶

Our goal is to build an application which can read handwritten digits. For this we need some training data and some test data. OpenCV comes with an image digits.png (in the folder opencv/samples/data/) which has 5000 handwritten digits (500 for each digit). Each digit is a 20x20 image.

• 2020 사이즈의 5000개 데이터(10개 종류 각 500개) 를 제공하고 있음

So our first step is to split this image into 5000 different digit images. Then for each digit (20x20 image), we flatten it into a single row with 400 pixels. That is our feature set, i.e. intensity values of all pixels. It is the simplest feature set we can create. We use the first 250 samples of each digit as training data, and the other 250 samples as test data. So let's prepare them first.

• 각 사진을 flatten하여 400개의 픽셀로 뽑아내고, 이것이 피쳐 셋이 될 것임
• 각 글자 500개중 250개는 훈련 데이터, 250개는 테스트 데이터로 사용

So our basic OCR app is ready. This particular example gave me an accuracy of 91%. One option to improve accuracy is to add more data for training, especially for the digits where we had more errors.

Instead of finding this training data every time I start the application, I better save it, so that the next time, I can directly read this data from a file and start classification. This can be done with the help of some Numpy functions like np.savetxt, np.savez, np.load, etc. Please check the NumPy docs for more details.

In my system, it takes around 4.4 MB of memory. Since we are using intensity values (uint8 data) as features, it would be better to convert the data to np.uint8 first and then save it. It takes only 1.1 MB in this case. Then while loading, you can convert back into float32.

OCR을 영어 알파벳에 적용해보기¶

Next we will do the same for the English alphabet, but there is a slight change in data and feature set. Here, instead of images, OpenCV comes with a data file, letter-recognition.data in opencv/samples/cpp/ folder. If you open it, you will see 20000 lines which may, on first sight, look like garbage. Actually, in each row, the first column is a letter which is our label. The next 16 numbers following it are the different features. These features are obtained from the UCI Machine Learning Repository. You can find the details of these features in this page.

There are 20000 samples available, so we take the first 10000 as training samples and the remaining 10000 as test samples. We should change the letters to ascii characters because we can't work with letters directly.

• 학습이 된 경우 정확도 93.22% 정도가 나올 것이라고 합니다. 정확도를 올리기 위해, 더 많은 데이터를 수집하여 적용해봅시다!

Q3. Exercise : 여기서 우리는 k=5 로 설정했습니다. 만약 다른 K값을 사용하면 어떤 결과가 나올까요? 정확도를 극대화할 수 있는 k를 찾을 수 있을까요?

SVM(서포트 벡터 머신)¶

A. 서포트 벡터 머신 알고리즘¶

• 서포트 벡터 머신은 두 개의 클래스로 구성된 데이터를 가장 여유있게 분리하는 초평면을 찾는 머신러닝 알고리즘이다.
• ex) 2차원 공간상의 경우는 두 클래스의 데이터를 분리하는 직선 형태로, 3차원 공간의 경우는 3차원 공간에서의 평면의 방정식이 된다.
• SVM 알고리즘은 지도학습의 일종이며, 분류와 회귀에 사용된다.

• (a)그림에서,
  • 직선 (1)과 (2)는 삼각형 사각형을 서로 잘 분리한다.
  • 하지만, 1번 직선은 왼쪽으로 조금만 움직여도 아슬아슬하고, 2번 직선은 오른쪽으로 조금만 움직여도 아슬아슬하다.
  • 이를 잘 해결하기 위해 그림 (b)처럼 적당한 간격을 가진 초평면 (3)번 직선을 찾으려는 것이 svm이다.

• 3번 직선에서 가장 가까운 빨간색/파란색 점과의 거리를 마진(margin)이라고 한다.
• SVM은 이 마진을 최대화하는 초평면을 구하는 알고리즘이다.

• 서포트 벡터
• 서포트 플레인

Weight vector decides the orientation of decision boundary while bias point decides its location.

Non-Linearly Separable Data Consider some data which can't be divided into two with a straight line. For example, consider an one-dimensional data where 'X' is at -3 & +3 and 'O' is at -1 & +1. Clearly it is not linearly separable. But there are methods to solve these kinds of problems. If we can map this data set with a function, f(x)=x2, we get 'X' at 9 and 'O' at 1 which are linear separable.

Otherwise we can convert this one-dimensional to two-dimensional data. We can use f(x)=(x,x2) function to map this data. Then 'X' becomes (-3,9) and (3,9) while 'O' becomes (-1,1) and (1,1). This is also linear separable. In short, chance is more for a non-linear separable data in lower-dimensional space to become linear separable in higher-dimensional space.

1. SVM 알고리즘은 기본적으로 선형으로 분리 가능한 데이터에 적용할 수 있다.
2. 하지만, 선형으로 분리되지 않는 경우(아래 그림의 a에 대항)
   • SVM 알고리즘을 적용하기 위해 커널 트릭 이라는 기법을 사용한다.

커널트릭¶

• (a) 그림과 같이 2차원 평면상에서 분리가 어려운 경우,
• (b) 그림처럼 데이터의 특징을 반영한 공간의 차원을 증가시켜 데이터를 선형분리하는 것을 커널트릭이라 한다.
• 아래의 표는 svm알고리즘에서 사용하는 커널 함수의 종류이다.

B. 위와 동일하게, 핸드라이팅 Digits을 분류하는 SVM을 적용해 봅시다.¶

이 튜토리얼을 참고하였습니다.

OCR of Hand-written Digits¶

In kNN, we directly used pixel intensity as the feature vector. This time we will use Histogram of Oriented Gradients (HOG) as feature vectors.

• 이번에는 특징 벡터를 추출하기 위해 HOG를 사용합니다.

Here, before finding the HOG, we deskew the image using its second order moments. So we first define a function deskew() which takes a digit image and deskew it. Below is the deskew() function:

Q4.아래의 코드를 한 번 분석해보세요.

• 위의 그림 중 왼쪽은 오리지널 이미지, 오른쪽은 deskew 함수를 적용한 이미지이다.

HOG 함수 적용하기¶

Next we have to find the HOG Descriptor of each cell. For that, we find Sobel derivatives of each cell in X and Y direction. Then find their magnitude and direction of gradient at each pixel. This gradient is quantized to 16 integer values. Divide this image to four sub-squares. For each sub-square, calculate the histogram of direction (16 bins) weighted with their magnitude. So each sub-square gives you a vector containing 16 values. Four such vectors (of four sub-squares) together gives us a feature vector containing 64 values. This is the feature vector we use to train our data.

• x, y 디렉션에 대한 소벨 연산자 추출(가장자라)
• 각 픽셀의 gradient 방향과 정도를 추출
• So each sub-square gives you a vector containing 16 values, = 16*4 = 64
• 이렇게 뽑아낸 64개의 피쳐가 우리의 train data가 됨.

이번주 목표(얼룩말 책 5,6장, 노란 책 11장)¶

• 이진화와 모폴로지는 우리가 이전에 배운 적이 있답니다. (민들레 홀씨 사진으로 했었던 탑햇 연산, 블랙햇 연산 등을 기억하시죠?)
• 다만, 이진화와 모폴로지 자체가 어려운 개념이었던 만큼 다시 한 번 되돌아보는 시간을 갖겠습니다.
• 오늘 서술된 내용의 소스는 노란 책입니다. 따라서 노션에 전달드린 링크를 참고하여 복습해주시면 되겠습니다!
• 노란 책 내용이 담겨있는 페이지는 여기! 11장을 보시면 됩니다.
• 저도 책 내용에 충실하게 정리해 보았습니다.

이진화와 모폴로지¶

1. 영상의 이진화
   a. 영상의 이진화란?
   b. 임계값을 이용한 영상의 이진화
   c. 적응형 이진화
2. 모폴로지 연산
   a. 이진 영상의 침식과 팽창
   b. 이진 영상의 열기와 닫기

영상의 이진화¶

• 이진화 : 그레이 스케일 영상의 픽셀 값을 0 또는 255로 변화하는(0 or 1) 기법.
• 영상의 이진화는 영상에서 ROI와 배경을 구분하기 위한 용도로 사용된다.

학습 목표¶

1. 영상의 이진화를 수행하는 기본적인 이론을 알아본다.
2. openCV에서 이진화를 수행하는 코드를 알아본다.
3. 조명이 균일하지 않은 영상에 응용하는 적응형 이진화 기법에 대해 알아본다.

a. 영상의 이진화란?¶

• 영상의 이진화(binarization)는 영상의 픽셀을 두 개의 분류로 나누는 작업이다. ex)대상/배경 나누기, ROI/no ROI
• 원래의 디지털 컴퓨팅 분야에서 이진화는 0/1 이지만, 이미지의 이진화는 0/255 값을 말한다.
• 따라서, 이진화가 적용된 영상은 검은색/흰색으로 구성된다.

• (a) : 검은색 사각형이 잘 구분되도록 이진화를 수행한 예
• (b) : 문서의 배경과 글자를 잘 구분하기 위해 이진화를 수행한 예
• (c) : 지문 인식을 위해 이진화를 수행한 예

b. 임계값을 이용한 영상의 이진화¶

이진화를 수행하기 위해서는 기준이 필요하다.¶

• 이를 임계값(threshole), 또는 문턱치 라고 한다.
• 이진화를 수식으로 표현하면 다음과 같다.

• T(임계값, 문턱치)를 정하는 법
  1. 사용자 경험에 의해 사람이 정해주기
  2. 영상을 파악하여 자동으로 결정하기

기준을 어떻게 결정하냐에 따라 검출되는 영상이 달라진다.¶

• 약품에 염색된 세포의 영상(아래)
• 기준을 $T_1$으로 둔 경우 세포 중 검게 물든 세포만 검출이 되고,
• 기준을 $T_2$로 둔 경우 모든 세포가 검출된다.(배경이 날아간)

Q1. 얼룩말 책을 참고하여 하나의 이미지를 불러와, 이미지에 이진화를 적용해보세요. 2개 이상의 기준을 주어 적용해보세요.

• 우리는 cv2.threshold(src, pos, 255, cv2.THRESH_BINARY)로 다양한 이진화를 적용할 수 있다.
• 이진화 중 cv2.THRESH_OTSU, cv2.THRESH_TRIANGLE 은 이런 임계값을 자동으로 결정할 때 사용한다.
• 자동으로 임계값을 결정하도록 옵션을 지정한 경우, threshold 함수의 세 번째 인자는 사용하지 않는다.

Q3. 아래의 코드를 참고하여, GUI 트랙바가 있는 이진화 프로그램을 만들어봅시다.

c. 적응형 이진화¶

• threshold() 함수는 지정한 임계값을 영상 전체 픽셀에 동일하게 적용하여 이진화 영상을 생성한다.(전역 이진화)
• 그런데, 영상 특성에 따라 전역 이진화를 적용하기 어려울 때가 있다.
• ex) 균일하지 않은 조명 환경에서 촬영된 영상에 대해 전역 이진화를 수행하면 객체와 배경이 적절히 분리되지 않는 경우가 발생한다.

적응형 이진화 수행 방법¶

• 1. 정해진 크기의 사각형 블록을 설정한다.
• 1. 블록 영역 내부에서 임계값을 결정한다.
• 1. 해당 블록을 이진화한다.

$T(x,y) = μ(x,y)-C$

• 여기서 $μ(x,y)$는 주변 블록 영역의 픽셀 값 평균이며, C는 임계값 크기를 조정하는 상수이다.(사용자가 직접 선정)

Q4. 얼룩말 책을 참고하여 하나의 이미지를 불러와, 이미지에 적응형 이진화를 적용해보세요. 같은 이미지에 2개 이상의 블록 크기를 적용하여 차이를 확인해 보세요.

Q5. 아래의 소스코드를 참고하여, 트랙바로 블록 사이즈를 조정하는 적응형 이진화 프로그램을 만들어보세요.

모폴로지 연산¶

• 모폴로지(morphology) : 형태론 이라고 나온다. >> 형태, 또는 모양에 관한 학문
• 모폴로지 연산은 영상 내부 객체의 형태와 구조를 분석하고 처리하는 기법이다.
• 모폴로지 연산은 그레이스케일 영상과 이진 로 영상에 대해 모두 적용할 수 있지만, 주로 이진 영상에서 객체의 모양을 단순화하거나 잡음을 제거하는 용도로 쓴다.

a. 이진 영상의 침식과 팽창¶

• 모폴로지 연산을 수행하려면 먼저 구조 요소(structuring element)를 정의해야 한다.
• 구조 요소란, 필터링의 마스크처럼 모폴로지 연산의 동작을 결정하는 작은 크기의 행렬이다.

1. 침식 : 객체 영역의 외곽을 골고루 깎아내는 연산. 객체 영역은 축소되고, 배경은 확대된다.
   • 구조 요소를 영상 전체에 대해 적용하면서
   • 구조 요소가 객체 영역 안에 완전히 들어간 경우
   • 고정점 위치 픽셀을 255로 적용한다.

1. 팽창 : 객체 영역은 객체 외곽을 확대하는 연산. 객체 영역은 확대되고, 배경은 줄어든다.
   • 구조 요소를 영상 전체에 대해 이동시키면서
   • 구조 요소와 객체 영역이 한 픽셀이라도 만나면
   • 고정점 위치 픽셀을 255로 적용한다.

Q6. 얼룩말 책의 소스코드를 참고하여, 하나의 이미지에 침식 연산을 수행해보세요.

Q7. 얼룩말 책의 소스코드를 참고하여, 하나의 이미지에 팽창 연산을 수행해보세요.

b. 이진 영상의 열기와 닫기¶

• 열기 : 입력 영상에 대해 침식 연산을 수행한 후, 다시 팽창 연산을 수행하는 것
• 닫기 : 입력 영상에 대해 팽창 연산을 수행한 후, 다시 침식 연산을 수행하는 것
• 열기/닫기 연산은 각각 침식과 팽창을 한 번씩 수행하기 때문에 객체 영역의 크기가 크게 변화하지 않는다.
• 단, 적용 순서(열기/닫기)에 따라 서로 다른 효과가 발생한다.

1. 열기 연산의 경우 침식 연산을 먼저 수행하기 때문에 작은 크기의 객체가 효과적으로 제거된다.
2. 닫기 연산의 경우 팽창 연산을 먼저 수행하기 때문에 내부가 메워진다.

(a) : 열기 연산을 수행한 결과. 가장자리의 작은 객체나, 튀어나온 부분들이 사라졌다.
(b) : 닫기 연산을 수행한 결과. 중간의 텅 빈 부분이 메꿔졌다.

이번 주 목표(얼룩말 책 5장_흐림효과)¶

흐림 효과¶

1. 커널과 고정점
2. 테두리 외삽법
3. 단순 흐림 효과
4. 박스 필터 흐림 효과
5. 중간값 흐림 효과
6. 가우시안 흐림 효과
7. 양방향 필터 흐림 효과

필터링¶

1. 영상의 필터링
2. 샤프닝
3. 잡음 제거 필터링

A. 흐림 효과¶

• 흐림 효과는 블러링(Blurring) 또는 스무딩(Smoothing)이라고 불리며, 노이즈를 줄이거나 외부 영향을 최소화하는데 사용된다.
• 흐림 효과는 노이즈를 제거해 연산 시 계산을 빠르고 정확하게 수행하는 데 도움이 된다.
• 이미지의 해상도를 변경할 때 존재하지 않는 데이터를 생성하거나(확대) 존재하는 데이터를 줄여(축소) 샘플링된 이미지를 재구성할 때 사용된다.

1. 흐림 효과는 영상이나 이미지를 번지게 하여, 해당 픽셀을 주변 값들과 비교한다.
2. 픽셀 색상을 재조정한다.
3. 크게 다섯가지 종류가 있으며, 세 가지의 중요 매개변수가 있다.

세 가지 중요 매개변수¶

1. 커널과 고정점¶

• 커널은 이미지에서 $(x,y)$의 픽셀과 해당 픽셀을 포함한 작은 크기의 공간을 말한다.
• 이 "커널"에 특정 수식이나 함수를 적용해 새로운 이미지를 얻게 된다.
• 커널은 필터라고 불리기도 한다.

새로운 픽셀을 만들어내기 위해 커널 크기의 화소 값을 어떤 시스템을 통과하도록 하여 계산하는 것을 컨볼루션(Convolution)이라 한다.

• 컨볼루션의 예로

1. 블러링(Blurring) : 이미지를 흐리게 만듦
2. 샤프닝(Sharpening) : 이미지의 윤곽을 선명하게 만듦
3. 미분(Gradient, Laplacian) : 이미지 명도의 변화량을 구함

등이 있다.

• 고정점은 커널을 통해 컨볼루션된 값을 할당한 지점이다.
• 커널 내에서 고정점은 하나의 지점을 가지며, 이미지가 어떻게 정렬되는지를 나타낸다.

• 커널로 전 영역에 걸쳐 연산을 수행하며, 3*3 크기의 사각형을 기준으로 고정점 위치의 픽셀값을 재조정한다.
• 이 때 연산을 수행하는 방법은 커널의 종류(소벨, 가우시안 등)에 따라 달라진다.
• 커널을 사용하는 알고리즘이 모든 픽셀에 대해 연산을 수행하며, 최종적으로 모든 픽셀의 값이 변한다.
• 이 때, 커널은 주로 홀수의 값을 갖는 크기를 활용한다.

이 때, 테두리 부분의 처리에 문제가 발생한다. (0,0을 재조정할 때 (-1,-1 위치의 픽셀은..?))¶

이를 고치기 위해 테두리 외삽법을 사용한다.

2. 테두리 외삽법¶

• 컨볼루션을 적용할 때 이미지의 가장자리는 계산이 불가하다.
• 이 문제를 해결하기 위해 테두리의 이미지 바깥에 가상의 픽셀을 만들어 처리한다.

이 때 수행할 수 있는 방법의 종류¶

1. 가상 픽셀의 값을 0으로 할당
2. 커널이 연산 가능한 부분부터 연산을 수행
3. 이미지의 시작과 끝을 연결해 폐곡선을 형성해서 이미지의 테두리 부분을 대신하게 함

Q1. 표 5.8(테두리 유형)을 정독해보세요.

• 고정 값으로 픽셀을 확장, 테두리 픽셀을 복사해서 확장, 픽셀을 반사해서 확장, 반대쪽 픽셀을 복사해서 확장, 이중 픽셀을 만들지 않고 반사해서 확장, reflect1010, 픽셀 투명한 확장, roi 밖은 신경 안 씀!

흐림 효과¶

• 이제 이미지를 흐림 처리 하는 방법에 대해 알아봅시다.

1. 단순 흐림 효과¶

Q2. 단순 흐림 효과 함수를 적어보고, 설명해주세요. 하나의 이미지를 불러와 흐림 효과를 적용하여 출력해보세요.

dst = cv2.blur(src, ksize, anchor, borderType)

2. 박스 필터 흐림 효과¶

• 박스 필터 함수의 경우, 커널의 내부 값이 일반적으로 모두 같으며, 그 값은 1의 값을 갖는다.
• 하지만 normalizae의 값을 True로 설정할 경우 정규화된 박스 필터로 변경되며 커널의 모든 값이 커널의 개수만큼 나눠진다. (일반적으로 커널의 값이 모두 1일 때,커널의 개수가 33이라면 $ {1 \over 9} 1$의 값이 필터 값이 된다.)

Q3. 박스 필터 흐림 효과 함수를 읽어보고, 이미지에 박스 필터 흐림을 적용해보세요.

cv2.BoxFilter(src, ddepth, ksize, anchor, normalize, borderType)

커널 내부 값이 모두 같다

3. 중간값 흐림 효과¶

• 중간값 흐림 효과 함수는 고정점을 사용하지 않고, 중심 픽셀 주변으로 사각형 크기의 이웃한 픽셀의 중간값(평균 아님!)을 사용해 각 픽셀의 값을 변경한다.
• 즉, 고정점이 항상 커널의 중심에 있다고 가정한다.
• 중간값을 선택하기 위해서는 정사각형 형태의 커널에서 항상 중간에 있는 값을 선택해야 하므로 ksize는 홀수만 가능하다.

Q4. 중간값 흐림 효과 함수를 읽어보고, 이미지에 중간값 흐림을 적용해보세요.(커널은 항상 홀수인 것 잊지 마세요!)

dst = cv2.medianBlur(src, ksize)

4. 양방향 필터 흐림 효과¶

• 양방향 필터 흐림 효과는 가장자리를 선명히 보존하면서 노이즈를 우수하게 제거하는 흐림 효과 함수이다.
• 양방향 필터는 두 종류의 가우시안 필터를 사용하여 흐림 효과를 적용한다.
• 양방향 필터 흐림 효과는 다른 흐림 효과 함수에 비해 느리다.(지름이 클수록 수채화처럼 변형된다.)

Q5. 양방향 필터 함수를 적어보고, 각 옵션을 설명해주세요.

dst = cv2.bilateralFilter(src, d, sigmaColor, sigmaSpace, dst, borderType)

Q6. 이미지를 불러와 예제 5.14(python opencv에서의 양방향 필터 흐림 효과 함수)를 적용해보세요.

• 얘는 이상하게 수행시간이 조금 걸린다이

B. 필터링¶

책이 없으신 분은 여기를 참고해주세요. 아래의 목차를 누르면 내용을 확인할 수 있습니다.

1. 영상의 필터링¶

• "필터" 라는 말은, 무언가를 걸러 내고 일부를 통과시키는 장치를 의미한다.
• 영상처리에서 필터링이란 영상에서 원하는 정보만 통과시키고 원치않은 정보는 걸러 내는 작업이다.
• 예를 들어, 영상에서 noise(잡음)를 걸러내어 영상을 깔끔하게 만들 수 있고, 영상에서 부드러운 성분을 제거하여 날카로운 느낌이 나도록 만들 수 있다.

2. 마스크를 이용한 필터링 연산 방법¶

• $m$ 은 마스크 행렬을 나타낸다.
• $f$ 와 $g$는 각각 입력 영상, 출력 영상을 나타낸다.
• 마스크를 이용한 필터링은 모든 입력 영상의 픽셀 위로 마스크 행렬을 이동시키면서 마스크 연산을 수행하는 방식으로 이루어진다.
• 마스크 연산이란 : 마스크 행렬의 모든 원소에 대하여 마스크 행렬 원소 값과 같은 위치에 있는 입력 영상의 픽셀 값을 서로 곱한 후, 그 결과를 모두 더하는 연산이다.

• 외부 픽셀에 대해서는 테두리 외삽법을 적용한다.

2. 샤프닝¶

• 샤프닝은 초점이 잘 맞은 사진처럼 사물의 윤곽이 뚜렷하고 선명한 느낌이 나도록 영상을 변경하는 필터링 기법이다.

언샤프 마스크 필터¶

• 이미 촬영된 사진을 초점이 잘 맞는 사진처럼 보이게 하려면 영상 에지 근방에서 픽셀 값의 명암비가 커지도록 해야 한다.
• 샤프닝 영상을 만들기 위해서는 블러링된 영상을 사용하여야 한다.이처럼, 언샤프한 영상을 사용하여 역으로 날카로운 영상을 생성하는 필터를 언샤프 마스크 필터 라고 한다.

• (a) : 영상의 모습. 영상의 엣지 부근에서 픽셀값이 증가하는 모양을 나타낸다.
• (b) : $f(x,y)$에 블러링을 적용한 모습(삐쭉한 값을 부드럽게 증가하도록 수정한 모양이다.)
• (c) : 원본 값에서 수정한 값을 빼서, 차이를 드러나도록 한 것이다.
• (d) : 원본에 (c)를 더해서 차이가 더 두드러지도록 한 것이다.

Q7. 아래의 소스코드를 참고하여, 특정 이미지에 언샤프 마스크를 적용해보세요.

• opencv는 언샤프 마스크 필터를 따로 제공하지는 않으니 소스코드를 참고해야 한다.

3. 잡음 제거 필터링¶

• 영상을 획득하는 과정에서는 항상 잡음이 포함될 수 있으므로, 전처리 과정으로 잡음 제거 필터를 사용해야 한다.
• 디지털 카메라에서 카메라 렌즈가 바라보는 장면을 원본 신호($s(x,y)$) 라고 하고, 추가되는 잡음을 ($m(x,y)$)이라고 하면
• 실제 카메라에서 획득되는 영상 신호는 다음과 같이 표현할 수 있다.

$f(x,y) = s(x,y) + m(x,y)$

• 잡음이 생성되는 방식을 잡음 모델(noise model)이라고 한다.
• 다양한 잡음 모델 중에서 가장 대표적인 잡음 모델은 가우시안 잡음 모델이다.

• (평균이 0이고, 표준편차가 10인 가우시안 분포 그래프)

• 입력 영상에서 픽셀 값이 크게 변하지 않은 평탄한 영역에 가우시안 필터를 적용할 경우, 주변 픽셀 값이 부드럽게 블러링되며 잡음의 영향도 크게 줄어든다.
• 그러나, 픽셀 값이 급격히 변경되는 엣지 영역에 가우시안 필터를 적용할 경우, 엣지 성분까지 함께 감소한다.
• 따라서 잡음이 줄면서 엣지도 함께 무뎌지기 때문에 객체의 윤곽이 흐릿하게 바뀐다.

양방향 필터¶

• 위에서 살펴본 "양방향 필터" 와 동일하다.
• 양방향 필터의 작동 방식

목적 : 엣지는 그대로 유지하면서 가우시안 잡음을 효과적으로 적용한다.

• $f$ : 입력영상
• $g$ : 출력영상
• $p, q$ : 픽셀의 좌효
• $G_{\sigma_s}$, $G_{\sigma_r}$ : 각각 표준 편차가 $\sigma_s$, $\sigma_r$인 가우시안 분포 함수

• 두 점 사이의 거리에 대한 가우시안 함수(가우시안 필터와 동작 방식이 같다)

• 두 점 사이의 픽셀 값 차이에 의한 가우시안 함수
• 두 점의 픽셀 밝기 차이가 적다면 -> 큰 가중치를 가짐
• 두 점의 픽셀 밝기 차이가 크다면 -> 적은 가중치를 가짐, 위의 공식 값은 0에 가까워지므로 에지 근방에서 가우시안 블러링 효과가 0에 가까워짐

Q8. 아래의 소스코드를 참고하여 가우시안 노이즈, 양방향 필터를 적용한 이미지를 출력해주세요.

미디언 필터¶

• 미디언 필터는 입력 영상에서 자기 자신 픽셀과 주변 픽셀 값 중 중간값을 선택하여 결과 영상 픽셀 값으로 설정하는 필터링 기법이다.
• 미디언 필터는 특히 잡음 픽셀 값이 주변 픽셀 값과 큰 차이가 있는 경우 효과적으로 동작한다.(솔트앤페퍼 노이즈)

Q9. 위의 소스코드를 참고하여, 미디언 필터를 적용한 이미지를 출력해보세요. (위에서 했지만 한번 더 적용해볼까요 ㅎㅎ)

이번주 목표(얼룩말 책 7장)¶

이미지 검출(다각형 검출)¶

- 가장자리 검출
- 윤곽선 검출       
- 다각형 근사         
- 코너 검출       
- 직선 검출        
- 원 검출

이미지 검출¶

0. 시작하기 전에¶

• 이미지 검출은 영상 내에서 주요한 특징점(Feature Point)을 검출하는 방법으로, 특징점이 존재하는 위치를 알려주거나 해당 특징점을 부각한다.
• From : 픽셀의 색상 강도, 연속성, 변화량, 의존성, 유사성, 임계점 등으로 특징을 파악해서
• To : 가장자리(Edge), 윤곽선, 코너, 블록 껍질, 모멘트, 직선, 원 등을 구분한다.

1. 가장자리 검출¶

• 이미지 내의 가장자리 검출을 위한 알고리즘
• 픽셀의 그래디언트의 상위 임계값과 하위 임계값을 사용해 가장자리를 검출한다.
• 픽셀의 연속성, 연결성 등이 유효해야 하며, 가장자리의 일부로 간주되지 못한 픽셀은 제거되어 가장자리만 남게 된다.

2. 윤곽선 검출¶

• 이미지 내의 윤곽 검출을 위한 알고리즘
• 동일한 색상이나 비슷한 강도를 가진 연속한 픽셀을 묶어 처리한다.
• 윤곽 검출을 통해 모멘트, 면적, 경계선, 코너, 블록 껍질, 피팅 등을 적용할 수 있다.

3. 직선 검출¶

• 이미지의 모든 점에 대한 교차점을 추적한다.

4. 원 검출¶

• 이미지에서 방사형 대칭성이 높은 객체를 효과적으로 검출한다.(한 점을 중심으로 방사형으로/대칭적으로 퍼져있는 객체를 검출한다는 뜻인 것 같습니다.)

1. 가장자리 검출¶

• 가장자리 : 가장 바깥 부분의 둘레, 객체의 테두리
• 가장자리 : 전경/배경이 구분되는 지점, 전경과 배경 사이에서 밝기가 큰 폭으로 변하는 지점이 객체의 가장자리가 된다.
• 그러므로, 가장자리는 픽셀의 밝기가 급격하게 변하는 부분으로 간주할 수 있다.
• 어떻게 검출하는가?
  1. 픽셀의 밝기 변화율이 높은 부분이 가장자리이므로,
  2. 미분과 기울기 연산을 수행 하여 픽셀의 밝기 변화율이 높은 곳을 찾는다.

• 1차 미분에서는 극대값/극소값이 가장자리가 되고
• 2차 미분에서는 제로 크로싱(기울기가 양수->음수로 변화될 때 0의 값을 갖는 위치)가 가장자리가 된다.
• 픽셀의 밝기에 따른 미분을 진행하므로, 노이즈가 심할 경우 극값/제로크로싱을 제대로 알 수 없으므로 노이즈를 제거하거나 최소화 한 후 검출을 진행한다.

Q1. 미분 형태의 가장자리 유형은 어떤 것들이 있나요? 가장자리를 검출하는 방식에는 어떤 것들이 있는지 말해주세요.

• 스텝, 램프, 라인, 루프

1. 스텝 : 계단식으로 픽셀값이 갑자기 변함
2. 램프 : 노이즈가 제거된 수의 스텝
3. 라인 : 픽셀값이 급격히 변한 후 다시 돌아옴
4. 루프 : 노이즈가 제거된 뒤의 라인

소벨 미분¶

• 미분 값을 구할 때 가장 많이 사용되는 연산자이다.
• 커널을 사용해 미분하며, 커널의 크기는 홀수 값을 갖는다.
• 커널 내부의 원소 합은 0이 되어야 한다.(중심을 바탕으로 대칭형을 많이 사용한다.)

소벨 미분의 개념 이해가 어렵다구요? 이 강좌를 보세요!

샤르 필터¶

• 소벨 미분의 단점을 보완한 방식
• 소벨 연산자의 경우 커널의 크기가 작으면 정확도가 떨어지는데, 이를 해결하기 위한 방식이다.

Q2. 소벨 미분과 샤르 필터의 차이점은 무엇인가요?

• 3*3만 지원함, 값 차이가 크게 남(소벨 미분은 커널이 작을수록 효과가 떨어지며, 이를 보완하기 위해 나온것이 샤르 필터이므로 필터로 쓰이는 커널의 값 차이가 많이 남)

라플라시안¶

• 라플라시안은 2차 미분의 형태이다.
• 라플라시안은 1차 미분으로 알게 된 "가장자리의 존재 여부" 에서 더 나아가, 이 가장자리가 밝은곳에서 발생했는지 어두운곳에서 발생했는지 를 알게 한다.

Q3. python opencv의 라플라시안 연산 함수를 확인하고, 소벨 연산과의 차이점을 적어보세요.

dst = cv2.Laplaciansrc, ddepth, ksize, scale=None, delta=None, borderType=None)

• 소벨 연산자를 직접 계산에 사용한다.
• 소벨 연산에 기반을 두고 있다.
• 커널의 크기가 소벨 미분 커널을 의미하며, 2차 미분 계산을 위해 샘플링하는 영역의 크기가 다르다는 것.

캐니 엣지¶

• 캐니 엣지란 라플라스 필터 방식을 개선한 것으로, 노이즈에 민감하지 않아 강한 가장자리를 검출하는 데 목적을 둔 알고리즘이다.

Q4. 캐니 엣지 알고리즘은 어떻게 동작합니까? 순서대로 적어보세요.

1. 가우시안 필터로 흐림효과 적용하여 노이즈 제거
2. 소벨 필터로 기울기갚이 높은 지점을 검출
3. 최댓값이 아닌 픽셀값을 0으로 변경(가장자리가 아닌 곳 제거)
4. 히스테리시스 임계값으로 상위 임계값 이상의 값만 가장자리로 간주

Q5. 이미지를 하나 불러와, 예제 7.2(python opencv에서의 캐니 엣지)를 수행하고 결과를 확인해보세요.

2. 윤곽선 검출¶

• 가장자리 검출은 가장자리 픽셀의 요소는 알 수 있었지만, 검출된 객체들의 구성 요소가 구분되어 있지 않아 형태를 알 수 없었다.
• 윤곽선 검출은 가장자리가 검출된 픽셀을 대상으로 세그멘테이션을 진행한다.
• 윤곽선을 검출하는 과정
  1. 검출하기 좋은 상태의 이미지를 만든다.(노이즈 제거)
  2. 윤곽선 검색 방법과 근사 방법을 선택
     • 모든 윤곽선을 반환할 것인가?
     • 검출된 윤곽선 중 강도가 높은 윤곽점만 반환할 것인가?
  3. 계층 구조의 형태
     • 검색 방법에 따라 계층 구조가 달라지며, 이 계층 구조의 윤곽선들이 어떤 형태로 연결/분리되어 있는지 확인할 수 있다.

계층 구조¶

Q6. 계층 구조는 기본적으로 어떤 형태를 띱니까? 계층 구조의 내용을 정리하여 설명해주세요.

• 트리 구조, 여러 노드가 한 노드를 가리킬 수 없다.
• 루트 노드, 부모 노드, 자식 노드

윤곽선 검출¶

• 윤곽선 검출 함수의 주요 매개변수는 1. 검색 방법 과 2. 근사 방법 을 선택하는 것이다.

• 검색 방법은 윤곽선을 검출해 어떤 계층 구조에 적용할 것인지를 설정하며,
• 근사 방법은 윤곽점의 표시 방법을 설정한다.

Q7. python opencv의 윤곽선 검출 함수에 대해 적어보고, 각각의 요소가 무슨 역할을 하는지 설명해주세요.

cv2.findContous(image, mode, method)

• 검색방법(mode) : 어떻게 검색하여 어떤 계층구조 형태를 사용할 지 정함
• 근사방법(method) : 검출된 윤곽선의 표시 방법을 설정

3. 다각형 근사¶

• 다각형 근사는 검출된 윤곽선의 형상을 분석할 때 정점의 수가 적은 다각형으로 표현하도록, 다각형 곡선을 근사하는 방법이다.
• 윤곽선 검출 함수에서 반환된 윤곽선 정보를 활용해 윤곽점의 개수를 축소한다.

• 다각형 근사는 더글라스-패커 알고리즘을 사용한다.
• 반복과 끝 점을 이용해, 선분으로 구성된 윤곽선들을 더 적은 수의 윤곽점으로, 동일하거나 비슷한 윤곽선으로 데시메이트(가위질!) 한다.

윤곽선 정보¶

1. 윤곽선 길이 계산
2. 윤곽선 면적 계산
3. 윤곽선 경계 사각형
4. 윤곽선의 최소 면적 사각형
5. 윤곽선의 최소 면적 원
6. 윤곽선의 타원 피팅
7. 윤곽선의 볼록 껍질
8. 윤곽선의 볼록성 시험
9. 윤곽선의 모멘트

4. 코너 검출¶

• 코너 검출은 이미지 상에서 코너점을 검출하는 알고리즘이다.
• 다각형의 꼭지점 검출이라기 보다는, 트래킹하기 좋은 지점을 코너라 한다.
• 코너점은 앞서 배운 다각형 근사의 근사치 정확도 값으로 검출할 수도 있지만, 여기에서는 코너 강도를 계산하여 검출해보기로 한다.
• 코너 검출 알고리즘은 높은 도함수를 갖는 지점을 계산해서,(가장 두드러지는 코너점) 코너의 정의에 만족하는 지점을 반환한다.

해리스 코너 검출기¶

• 코너 강도를 계산하는데 사용할 알고리즘
• true이면 해리스 코너 검출기를, false이면 지안보 시와 카를로 토마시가 개선한 특징 검출 알고리즘을 사용한다.

5. 직선검출¶

• 이미지에서 선형적인 부분을 검출하기 위해 사용한다.
• 직선 검출 알고리즘은 허프 변환(Hough Transform) 알고리즘을 활용해 직선을 검출한다.

• opencv의 허프 변환은 총 세 종류의 변환을 지원한다.
  1. 표준 허프 변환
  2. 멀티 스케일 허프 변환
  3. 점진성 확률적 허프 변환

6. 원 검출¶

• 원 검출 역시 허프 변환 알고리즘 중 하나인 허프 원 변환 알고리즘을 활용해 원을 검출한다.
• 허프 원 변환 알고리즘은 2차원이 아닌 3차원 누산 평면으로 검출한다.

3차원 누산 평면에서의 검출 알고리즘을 설명한 블로그

이번주 목표__이미지 변환¶

1. 이미지 사이즈 변환
2. 대칭, 회전 변환
3. 기하학적 변환
4. 모폴로지 변환

1. 이미지 사이즈 변환¶

1. 이미지 변환 또한, 변형과 동일하게 전처리 과정으로 주로 활용된다.
2. 이미지 변형은 데이터가 감소하지는 않지만, 이미지를 해석하기 위해 특징을 검출하기 쉬운 데이터로 만드는 것이다.
3. 이미지 변환은 이미지 데이터의 갯수를 늘리거나 줄여 알고리즘 연산량을 줄이는 것을 주 목적으로 삼는다.

이미지 변환을 유형별로 분류하면 다음과 같다.

1. 강체(Rigid) 변환
2. 유사(Similarity) 변환
3. 선형(Linear) 변환
4. 아핀(Affine) 변환
5. 원근(Perspective Transformation) 변환

• 강체 변환(유클리디언 변환) : 변환 기준점으로부터 크기와 각도가 보존되는 변환 -> 평행이동, 회전
  • 강체 : 강체(剛體, Rigid body)란 물리학에서 형태가 고정되어 변하지 않는 물체를 가리킨다.
• 유사 변환 : 강체변환 + 크기 변환
• 선형 변환 : 벡터 공간에서의 이동
• 아핀 변환 : 선형 변환 + 이동 변환

1. 확대&축소¶

1. 입력 이미지가 항상 동일한 크기는 아니다. 따라서, 이미지의 크기를 변경하여 처리를 진행해야 할 때가 있다.
2. 이미지 확대와 축소는 이미지 피라미드 를 활용해 이미지의 크기를 원하는 단계까지 샘플링하는 작업 이다.

• 업샘플링 : 원본 이미지에서 크기를 확대하는 것(하위 단계의 이미지 생성)
• 다운샘플링 : 원본 이미지에서 크기를 축소하는 것(상위 단계의 이미지 생성)

이러한 이미지 피라미드의 종류로는 가우시안 피라미드와 라플라시안 피라미드가 있다.¶

1. 가우시안 피라미드 :
   • 업샘플링/다운샘플링 사용
   • 업샘플링 : 입력 이미지에 새로운 행과 열을 추가하여 짝수 행과 짝수 열로 만들어 하위 이미지를 만든다. (MN -> 2M2N)
   • 다운샘플링 : 짝수 행과 열을 제거해서 상위 이미지를 만든다. (MN -> M/2 N/2)
   • 단계마다 이미지 면적의 차이는 4배가 된다.

- 이러한 연산은 서로 역연산처럼 보이지만, 그렇지 않다.(없는 데이터를 생성 vs 있는 데이터를 제거)       
- 업샘플링 후 다시 다운샘플링하면, 이미지 피라미드가 적용된 이미지는 원본 이미지와 동일한 데이터를 갖고 있지 않다.       

1. 라플라시안 피라미드 :
   • 감산 영상을 통해 생성
   • $G_0 = Image$
     $G_{i+1} = Down(G_i)$
     $L_i = G_i - Up(G_{i+1})$

• 가우시안 피라미드 이미지에서 업샘플링된 이미지를 감산해서, 가우시안 피라미드의 차이를 계산한다.
• 즉, 가우시안 피라미드 레이어 간의 차이를 구하는 것을 의미한다.
• 이미지 경계선을 찾고, 그것을 단서로 이미지를 압축한다.

이미지 확대¶

Q1. python opencv의 이미지 확대 함수는 어떻게 표현되나요?

dst = cv2.pyrUp(src, dstSize=None, borderType=None)

• 입력 이미지(src)의 행과 열을 2배로 키워 이미지를 확대하는 변환 함수
  1. 입력 이미지에 새로운 행과 열을 추가해서 짝수 행과 짝수 열을 만들고, 0의 값을 할당한다.
  2. 할당된 0에 새로운 값을 넣어주어야 하므로 색상이 결정되지 않은 픽셀은 근삿값으로 채워 가우시안 필터로 컨볼루션을 진행한다.
  3. 이미지를 업샘플링한 후, 흐림 효과를 적용한다.
• dstSize(출력 이미지 크기) : 출력 이미지의 크기

• 가우시안 필터는 4의 값을 활용해 정규화한다.
• 새로 삽입된 요소는 모두 0 픽셀값을 가지고 있으며, 각 차원의 방향으로 2배씩 업샘플링을 수행했기 때문에(가로 2 * 세로 2)
• 평균 밝기로 복원하기 위해 4로 정규화된 커널을 사용한다.

• 출력 이미지의 크기는 일반적으로 2배 확대한 이미지가 되므로 가로2, 세로2의 크기가 된다.
• 출력 이미지의 크기를 할당해서 사용하려면

$ \left\vert dstsize.width - src.cols*2 \right\vert \leqq (dstsize.width mod 2) $

(출력 이미지의 너비 - 현재 이미지의 가로 2배) <= 출력 이미지의 너비를 2로 나눈 나머지보다 작아야 함 == 2배여야 함

이미지 축소¶

Q2. python opencv 이미지 축소 함수는 어떻게 표현되나요?

dst = cv2.pyrDown(src, dstSize=None, borderType=None)

• 입력 이미지의 행과 열을 2배로 축소해서 이미지를 축소하는 변환 함수
  1. 이미지에 흐림 효과를 적용한 후
  2. 다운샘플링을 진행한다.
  3. 이 때, 이미지를 2배 작게 만들어야 하므로 홀수 크기 이미지에는 +1을 해서 짝수로 만들고 2를 진행한다.

• 이미지 축소 함수는 $G_i$ 이미지를 컨벌루션하고, 모든 짝수 행과 짝수 열을 제거해 $G_{i+1}$을 생성한다.
• 생성된 레이어(축소된 이미지)는 입력 이미지의 $\frac{1}{!}$에 해당하는 면적을 갖는다.
• 출력이미지를 지정한다면 다음 조건을 충족해야 한다.

$ \left\vert dstsize.width*2 - src.cols \right\vert \leqq 2 $

Q3. 하나의 이미지를 불러와, 예제 6.2(python opencv에서의 이미지 축소)를 시험해보세요.

이미지 크기 조절¶

• 이미지 크기 변형은 단순한 연산이 아니다.
• 이미지를 확대하는 경우 픽셀에 대한 보간법, 이미지를 축소하는 경우 픽셀에 대한 병합법이 수행된다.
• 앞에서 수행한 이미지 확대/축소의 경우, 2배 확대/축소만 가능하므로 일반적으로 다른 함수를 활용하여 이미지 크기를 조절해야 한다.

1. 이 이미지 크기 조절 함수는 사용자가 원하는 크기로 이미지를 변환한다.
   • 이미지의 크기를 사용자가 원하는 절대 크기로 변경하는 것
   • 이미지의 크기를 비율에 맞게 상대 크기로 변경하는 것

Q4. python opencv의 이미지 크기 조절 함수는 어떻게 표현되나요?

dst = cv2.resize(src, dsize, fx=None, fy=None, interpolation=None)

• 절대크기(dsize)
• 상대크기(fx, fy)
• 상대 크기를 사용할 때도 절대 크기에는 값을 할당해줘야 하는데, fx,fy에 할당된 크기가 dsize에 할당되지 때문이다.
• 절대 크기가 우선이며, 필수 요소이다.

interpolation(보간법)¶

• 이미지 피라미드는 변경될 크기가 고정되어 있어 가우시안/라플라시안 피라미드를 통해 처리할 수 있지만,
• 이미지 크기 조절 함수는 어떤 크기로 변환될 지 알 수 없으므로 보간법을 활용한다.
• 이미지의 비율을 변경하면 존재하지 않는 영역에 새로운 픽셀값을 매핑하거나 존재하는 픽셀을 압축해서 새 값을 할당해야 한다.
• 이는 이미지 상에 존재하는 픽셀 데이터 $(x_i, y_i)$에 대한 근사함수 $f(x,y)$를 구하여 새로운 함수 값을 구하는 것으로 이해할 수 있다.

1. 이미지 확대 : 이미 있는 픽셀들을 결과 이미지의 새 좌표로 매핑하고, 군데군데 빈 값을 보간을 통해 메꿔준다.
2. 이미지 축소 : 입력 이미지의 픽셀이 결과 이미지의 좌표로 매핑될 때, 가장 근사값을 갖는 좌표로 픽셀값이 매핑된다.
3. 하지만 이 때 사용되는 픽셀들은 대부분 분수 픽셀(실수 좌표의 픽셀) 이다.
4. 그러므로, 새 값을 찾을 때 보간법의 유형에 따라 어떤 값으로 메꿀지가 결정된다.

- 가장 가까운 이웃 보간법 : 분수 픽셀 위치에서 가장 가까운 원본 픽셀을 결과 이미지의 픽셀값으로 사용      
- 쌍선형 보간법 : 분수 픽셀 위치에서 2*2 크기의 주변 원본 픽셀과 가까운 거리에 따라 선형적으로 가중치를 할당해서 결과 이미지의 픽셀값으로 사용한다.         
- 영역 보간법 : 픽셀 간의 관계를 고려한다.(결과 이미지의 픽셀 위치를 입력 이미지의 픽셀 위치에 배치하고, 겹치는 영역의 평균을 구해 결과값으로 사용한다.)        
- 바이 큐빅 보간법

• 이미지를 확대할 때는 주로 쌍선형 보간법이나 바이큐빅 보간법을 사용한다.
• 이미지를 축소할 때는 영역 보간법을 주로 활용한다.

Q5. 이미지를 불러와 사이즈를 조절해보세요.(예제 6.4(python opencv의 이미지 크기 조절))

2. 대칭&회전¶

• 대칭은 기하학적인 측면에서 반사(reflection)의 의미를 갖는다.
• 대칭은 변환할 행렬에 대해 2*2 행렬을 왼쪽 곱셈한다. 즉, 'p'형태의 그림에 Y축 대칭을 적용해 'q'를 만든다.
• 원본에 반사 행렬을 적용하여 값을 뒤집는다.

Q6. python opencv의 대칭 함수는 어떻게 표현되나요?

cv2.flip(src, flipCode)

• 대칭 축 플래그 : XY(상하좌우대칭), X(상하대칭), Y(좌우대칭)

회전¶

• 선형 변환 중의 하나
• 종류
  1. 회전 변환 행렬 : 임의의 점을 중심으로 물체를 회전시킨다.
     • 좌푯값을 회전시키는 회전 행렬
     • 좌표축을 회전시키는 회전 행렬

Q7. 예제 6.6(python opencv)을 테스트하여 이미지를 대칭/회전시켜보세요.

3. 기하학적 변환¶

• 기하학적 변환이란, 이미지를 인위적으로 확대, 축소, 위치변경, 회전, 왜곡하는 등 이미지의 형태를 변환하는 것을 의미한다.
• == 이미지를 구성하는 픽셀 좌표값의 위치를 재배치하는 과정이다.
• 이차원 공간에서의 기하학적 변환에는
  1. 아핀 변환(Affine Transformation)
  2. 원근 변환(Perspective Transformation)
     이 해당된다.

아핀 변환(Affine)¶

• 아핀 변환 행렬의 기본적인 변환 형태는 3*3 형태이다.
• 하지만, 아핀 변환은 선의 수평성을 유지하며, 변환 전에 서로 평행했던 선은 변환 후에도 평행하다.

Q8. python opencv의 아핀 변환 함수는 어떻게 생겼나요?

m = cv2.getAffineTransform(src, dst)

• src == 변환 전 세 개의 픽셀좌표
• dst == 변환 후 세 개의 픽셀좌표
• m = 아핀 맵 행렬

dst = cv2.warpAffine(src, M, dsize, dst=None, flags=None, borderMode=None, borderValue=None)

• 입력 이미지(src)
• 아핀 맵 행렬(M)
• 출력이미지(dst)
• 출력이미지 크기(dsize)
• 보간법(flags)
• 테두리 외삽법(borderMode)
• 테두리 색상(borderValue)

Q17. affine 변환 예제를 확인하고, 4가지 예제 중 하나를 골라 이미지에 적용해보세요.

원근 변환¶

• 원근 변환 행렬의 형태는 3*3이다.
• 원근 변환 행렬은 아핀 변환에서 유지되는 수평성은 유지되지 않는다.
• 원근 변환은 뒤틀림이나 원근 왜곡을 포함 하므로 더 많은 미지수를 요구한다.

Q9. python opencv의 원근 맵 행렬 생성 함수와, 원근 변환 함수는 어떻게 생겼나요?

m = cv2.getPerspectiveTransform(src, dst)

• 변환 전 네 개의 픽셀좌표(src)
• 변환 후 네 개의 픽셀좌표(dst)

Q10. 예제 6.8(python opencv의 원근 변환)를 참고하여, 이미지를 원근 변환 시켜보세요.

dst = cv2.warpPerspective(src, M, dsize, dst=None, flags=None, borderMode=None, borderValue=None)

• 입력 이미지(src)
• 아핀 맵 행렬(M)
• 출력이미지(dst)
• 출력이미지 크기(dsize)
• 보간법(flags)
• 테두리 외삽법(borderMode)
• 테두리 색상(borderValue)

4. 모폴로지 변환¶

• 모폴로지 변환이란, 영상이나 이미지를 형태학적 관점에서 접근하는 기법을 의미한다.
• 모폴로지 변환은 주로 영상 내 픽셀 값 대체에 사용되는데, 이를 통해 노이즈 제거, 요소 결합 및 분리, 강도 피크 검출 등에 이용할 수 있다.
• 모폴로지 변환에서는
  1. 집합의 포함 관계,
  2. 이동(translation),
  3. 대칭(reflection),
  4. 여집합(complement),
  5. 차집합(difference)
     성질을 활용한다.

1. 기본적인 모폴로지 변환으로는 팽창과 침식 이 있다.

• 팽창과 침식은 이미지와 커널의 콘볼루션 연산이다.
• 모폴로지 변환을 통해 피크 를 검출하거나, 그래디언트 를 정의할 수 있다.

1. 팽창은 커널 영역 안에 있는 모든 픽셀의 값을 커널 내부의 극대값 으로 대체한다.

• 구조 요소를 활용해 이웃한 픽셀을 최대 픽셀값으로 대체한다.
• 팽창 연산을 적용하면 어두운 영역이 줄어들고, 밝은 영역이 늘어난다.
• 커널의 크기나 반복 횟수에 따라 밝은 영역이 늘어나 스펙클이 커지고, 객체 내부의 홀이 사라진다.
• 노이즈 제거 후 줄어든 크기를 복구하고자 할 때 주로 사용한다.
• 스펙클 : 작은 반점

1. 침식은 커널 영역 안에 있는 모든 픽셀의 값을 커널 내부의 극소값 으로 대체한다.

• 구조 요소를 활용해 이웃한 픽셀을 최소 픽셀값으로 대체한다.
• 밝은 영역이 줄어들고, 어두운 영역이 늘어난다.
• 스펙클이 줄어들고, 객체 내부의 홀이 커진다.
• 노이즈 제거에 주로 사용한다.

Q11. python opencv의 구조 요소 생성 함수는 어떻게 생겼나요?

kernel = cv2.getStructuringElement(shape, size)

shape = 커널 형태 ksize = 커널 사이즈

1. 구조요소 생성 함수는 커널의 형태를 설정할 수 있으며, 직사각형, 십자가, 타원 모양으로 구조 요소를 생성한다.

Q12. python opencv의 팽창 함수는 어떻게 생겼나요?

dst = cv2.dilate(src, kernel, anchor=None, iterations=None, borderType=None, borerValue=None)

Q13. python opencv의 침식 함수는 어떻게 생겼나요?

dst = cv2.erode(src, kernel, anchor=None, iterations=None, borderType=None, borerValue=None)

Q14. 예제 6.10(python opencv의 모폴로지 침식)을 활용하여 이미지를 변경시켜 보세요.

모폴로지 연산¶

• 모폴로지 연산은 모폴로지 변환 + 고급 형태학을 적용하는 변환 연산 이다.
• 입력 이미지가 이진화 된 이미지라면 팽창과 침식 연산으로도 우수한 결과를 얻는다.
• 하지만, 일반적인 이미지는 다중 채널 이미지를 이용하기 때문에 더 복잡한 연산이 필요하다.
• 이 때, 모폴로지 연산을 활용해 우수한 결과를 얻을 수 있다.

Q15.python opencv의 모폴로지 연산 함수는 어떻게 생겼나요? 각 부분은 어떤 의미를 갖나요?

dst = cv2.morphologyEx(src, op, kernel, anchor=None, iterations=None, borderType=None, borerValue=None)

1. 열림 연산¶

열림 연산 : 팽창 연산자 + 침식 연산자의 조합. 침식 연산 이후 팽창 연산을 적용한다.

2. 닫힘 연산¶

닫힘 연산 : 팽창 연산자 + 침식 연산자의 조합. 팽창 연산 후 침식 연산을 적용한다.

3. 그래디언트 연산¶

그래디언트 연산 : 팽창 연산자 + 침식 연산자의 조합. 입력 이미지에 각각 팽창, 침식을 적용하고 감산을 진행한다.

- 각각의 연산을 감산하게 되면, 객체의 가장자리가 반환된다.   
- 그래디언트는 밝은 영역의 가장자리를 분리하며 그레이스케일 이미지가 가장 급격하게 변하는 곳에서 가장 높은 결과를 반환한다.       
- (즉, 선을 뚜렷하게 나타나게 한다.)

5. 블랙햇 연산¶

블랙햇 연산 : 입력 이미지에 닫힘 연산을 적용한 이미지를 감산한다. (이미지 + 닫힘 연산 + 감산)

6. 히트미스 연산¶

히트미스 연산 : 히트미스 연산은 단일 채널 이미지에 적용되며, 주로 이진화 이미지에 적용한다.

- 내부 요소의 값은 0 혹은 1만 의미가 있다.      
- 0은 해당 픽셀을 무시한다, 1은 해당 픽셀을 고려한다는 의미이다.     
- 이 특성 덕분에 히트미스 연산을 __모서리를 검출하는 데 활용하기도 한다.__

이번 주 목표_이미지 변형¶

1. 색상 공간 변환
2. 이진화
3. 이미지 연산
4. 영상의 밝기 조절

이미지 변형¶

• 이번에는 이미지 데이터에 변형을 주는 연산을 시도해보자.
• 데이터 변형은 주로
  1. 특징을 검출하고
  2. 데이터를 해석하기 위한
     전처리 과정으로 활용한다.
• 전처리를 수행하는 연산은 종류가 매우 다양하며, 특별히 용도가 구분되어 있지 않아 전처리에서 사용된 연산이 데이터를 해석할 용도로,
• 데이터를 해석하는 연산이 전처리에 사용할 용도로 바뀌어 사용되기도 한다.
• 이번 장에서는 전처리 알고리즘에서 가장 많이 활용되는 색상 공간 변화, 이진화 에 대해 알아본다.
• (책에서는 이미지 연산, 흐림 효과도 함께 다루나 종류별로 학습하기 위해 이번 과제에서는 배제한다.)

1. 색상 공간 변화¶

색상 공간 변환은 본래의 색상 공간에서 다른 색상 공간으로 변환할 때 사용된다.

1. 색상 공간 변환 함수는 데이터 타입을 같게 유지하고, 채널을 변환한다.
2. 8비트, 16비트, 32비트의 이미지를 입력으로 넣어, 동일한 정밀도의 이미지를 출력으로 받는다.
3. 채널 수가 감소하여 이미지 내부의 데이터는 설정한 색상 공간과 일치하는 값으로 변환되어, 데이터 값이 변경되거나 채널 순서가 변경될 수 있다.

Q1. python opencv의 색상 공간 변환 함수는 어떻게 생겼나요?

dst = cv2.cvtColor(src, code, dstCn=None)

입력 이미지 = cv2.cvtColor(입력이미지, 색상변환코드, 출력 채널)

색상 공간 변환 함수는

1. 입력 이미지(src)에
2. 색상 변환 코드(code)를 적용해
3. 출력 이미지(dst)로 변환한다.

• 색상 변환 코드를 사용해 BGR공간을 RGBA채널로 변환하거나, 그레이스케일, HSV, CIE Luv등 다양한 채널로 변환 가능하다.
• 변환하려는 채널은 단일채널(그레이스케일) -------------------------------> 4채널(RGBA)등 다양한 수 변경이 가능하다.
• 출력 채널(dstCn)은 출력할 이미지에 적용할 채널 수를 설정한다. 매개변수의 값이 0이면, 입력 이미지와 색상 변환 코드를 적용하여 자동으로 변형된다.

Q2. 예제 5.2와 표 5.1을 참고하여, 하나의 이미지를 불러온 후 색상 공간을 변환해보세요.

• HSV공간으로 변환하게 되면, H(Hue)는 0~180까지의 정밀도를 가지므로 이미지가 깨진 것처럼 보이게 된다.

Q3. 색상 공간에서 각 비트(8, 16, 32)별로 적용되는 범위는 어떻게 다른가요? 이 범위가 의미하는 차이가 무엇인가요?

BGR에서, 각 채널의 표현 범위는 0~255이지만 H 채널의 경우는 유일하게 0~180까지만 표현된다.

• Hue의 값은 일반적으로 0~360까지 표현되기 때문에, 아래의 식에 대입할 경우 표현하는 범위인 0~255 를 넘어버리게 된다.
• 이를 방지하기 위해 H채널은 0~180까지로 줄여 표현한다.

• $Y = 0.299 X R + 0.587 X G + 0.114 X B$

1. 이렇게 색상 공간을 변환하다 보면, HSV/HSL 공간은 8비트 이미지로 0~255값까지만 표현하는데
2. 안에 들어가는 값이 255값을 넘어가는 문제가 발생하게 된다.
3. 이를 방지하기 위해 HSV값은 0~180 값으로 제한하여 사용한다.

1-1. HSV 색상공간¶

• HSV(Hue, Saturation, Value) 공간은 색상을 표현하기에 가장 간편한 색상 공간이다.
• 이미지에서 색상을 검출한다고 할 때, BGR이나 RGB로는 인간이 인지하는 영역의 색깔을 구분하기에는 매우 어렵고 복잡하다.
• 하지만, HSV 공간을 활용하면 간편하고 빠르게 특정 색상을 검출하고 분류할 수 있다.

1. Hue(색상) : 색깔의 질을 의미한다. 빨강, 노랑, 파랑 등으로 나타내는 성질이다.
2. Saturation(채도) : 색의 선명도로, 탁한 색이 얼마나 섞이지 않았는지를 설명한다. (색에 흰색이나 다른 요소가 포함되어 있으면 탁하다)
3. Value(명도) : 색의 밝기이며, 높을수록 백색, 낮을수록 흑색에 가까워진다.

• 위의 그림에서, 가로축으로 왼쪽이 저채도, 오른쪽이 고채도이다.
• 위의 그림에서, 왼편의 세로축이 "명도" 이다

한 가지 색깔만 검출하기¶

• 각 색 속성의 양 끝단을 연결하면 보편적인 원형의 형태가 된다.
• 이 때, 0~180(Hue)의 값에서 "빨간색" 만 검출하려면 0만 쓰면 될까? 180만 쓰면 될까?
• 정답은 두 번에 걸쳐 색상 채널을 나누고 합치는 연산을 하여 구한다

1. 빨간색 계열을 나눠 낮은 쪽의 빨간채널, 높은 쪽의 빨간 채널을 만든다.
2. 채널을 합산한다.

• 이 경우, 색상 공간을 채널별로 나누는데, 이는 관심채널 설정과 비슷하지만 모든 채널에서 약간씩 포함된 빨간색을 가져와야 한다.

Q4. python opencv의 채널 분리 함수는 어떻게 표현되나요? 각각의 요소는 무엇을 의미하나요?

mv = cv2.split(src,)
분리된 이미지 = cv2.split(입력 이미지, )

• 채널 분리 함수는 다중 채널 입력 이미지(src)를 단일 채널 이미지 배열(mv)로 바꾼다.
• 분리된 mv는 세 개의 결과 이미지로 생성된다. mv[0], mv[1], mv[2]

Q5. python opencv의 채널 병합 함수는 어떻게 표현되나요? 각각의 요소는 무엇을 의미하나요?

dst = cv2.merge(mv)
병합된 이미지 = cv2.merge(단일채널[채널1, 채널2, 채널3])

• 채널 병합 함수는 단일채널 이미지배열(mv)을 병합해 하나의 출력 이미지(dst)로 만든다.
• mv 배열 안에는 1,2,3채널(mv[0], mv[1], mv[2])이 포함되어야 한다.
• 또한, mv배열의 첫번째 채널(mv[0])이 기준이 되어 모든 채널의 속성이 이 채널과 일치해야 한다.
• 채널 분리, 병합 함수는 4채널까지 처리 가능하다

원점으로 돌아가서,¶

• 다중 채널 이미지에서 단일 채널을 갖는 이미지로 분리한 후
• 해당 채널에서 특정 채널의 값을 검출해야 한다.

Q6. 배열 요소의 범위 설정 함수를 적어보고, 각 의미를 알려주세요.

dst = cv2.inRange(src, lowerb, upperb)
배열 = cv2.inRange(이미지, 낮은 범위, 높은 범위)

• 입력 이미지(src)에서 낮은 범위~높은 범위의 요소를 검출한다.

Q7. 이미지를 하나 불러와서, 특정 색상만 검출해보세요. 예제 5.4를 참고하세요.

Q8. python opencv의 배열 병합 함수를 적어보세요.

dst = cv2.addWeighted(src1, alpha, src3, beta, gamma, dtype=None)

$dst = src1 * alpha + src2 * beta + gamma$

• src1, src2 : 분리한 채널 이미지
• 알파블렌딩(오버레이하듯 연하게 겹치는 것)을 활용하여 서로 다른 이미지를 불투명하게 혼합해서 표시한다.

Q9. 예제 5.6을 수행하여 위의 이미지에서 하나의 색상값을 완벽히 추출해보세요.

• 왜 하나의 색상값이 정확히 출력되지 않았을까요?
• cvtColor하고 나서 잘 출력됐습니다~

2. 이진화¶

• 영상/동영상의 어느 지점을 기준으로, 픽셀을 분류해서 제외해야 할 때가 있다.
• 이 때 특정 값을 기준으로 값이 높은 픽셀을 검은색, 낮은 픽셀을 흰색으로 변경한다.
• 기준값에 따라 픽셀을 이분법적으로 구분해 픽셀을 참/거짓으로 나누는 연산이다.

Q10. python opencv의 이진화 함수는 어떻게 표현되나요? 각 옵션에 대해서도 설명해 주세요.

retval, dst = cv2.threshold(src, thresh, maxval, type)

• 설정 임계값, 출력 이미지 = cv2.threshold(입력이미지, 임계값, 최댓값, 임계값 형식)

Q11. 예제 5.8을 수행해보세요.

Q12. 이진화 함수에는 다양한 임계값 형식이 있습니다. 이 임계값 형식은 활성화 함수처럼 특정 값과의 경계를 두고 활성화시켜주는데요, 어떤 옵션들이 있는지 그림 5.5로 확인해보고, 가장 마음에 드는 임계값 옵션을 설명해주세요.

TRUNC - 잘라내다라는 의미대로, 적용되는 부분에만 적용하고 아니면 아무것도 하지 않음.

1. 오츠 알고리즘¶

• 입력된 이미지의 밝기 분포(히스토그램)를 통해 최적의 임곗값을 찾아 이진화를 적용하는 알고리즘
• 가능한 모든 값을 시험해보고, 이미지 내의 픽셀을 두 개의 클래스로 분류했을 때 클래스 간의 분산을 최소화하거나 차이를 최대화하는 값을 찾는다.
• 다음 수식을 써서, 수식을 최소화하는 임곗값을 찾는다.

${\sigma}^2 \equiv \sigma * \sigma_1^2 + \beta * \sigma_2^2$

• 이 경우, 가능한 모든 경우를 시험해보므로 다른 알고리즘에 비해 느리다.

2. 삼각형 알고리즘¶

• 오츠 알고리즘과 동일하게 모든 입력된 이미지의 밝기 분포를 통해, 최적의 임계값을 찾아 이진화를 적용하는 알고리즘이지만
• 오츠 알고리즘과는 다르게 모든 값을 대입하지는 않는다.
• 히스토그램에서 최대 거리를 구성할 수 있는 임계값을 찾아 이진화를 적용한다.

3. 적응형 이진화 알고리즘¶

• 입력 이미지에 따라 임곗값이 스스로 다른 값을 할당할 수 있도록 구성된 알고리즘.
• 이미지에 따라 어떤 값을 주던지, 이진화 처리가 어려운 이미지가 존재한다.
• 조명의 변화나 반사가 심한 경우
• 이미지 내의 밝기 분포가 달라 다 다른 임계값을 적용해야 하는 경우

$T(x,y) = \frac{1}{blocksize^2} \sum_{xi} \sum_{yi}I(x + x_i, y+y_i) -c $

• 이진화 함수에서 일반적으로 사용하는 최댓값 플리그와 임계값 형식 플래그를 동일하게 사용한다.
• 각 픽셀 주변의 blocksize영역에 대한 가중 평균을 계산한다.

Q13. 예제 5.9를 통해 조명이 심한 이미지에 적응형 이진화를 적용해보세요.

3. 이미지 연산¶

이미지 연산은 하나 또는 둘 이상의 이미지에 대해 수학적 연산을 수행하는 것이다.

1. 덧셈 함수
2. 뺄셈 함수
3. 곱셈 함수
4. 나눗셈 함수
5. 최댓값 함수
6. 최솟값 함수
7. 절댓값 함수
8. 절댓값 차이 함수
9. 비교 함수
10. 선형 방정식 시스템의 해 찾기 함수
11. AND 연산 함수
12. OR 연산 함수
13. XOR 연산 함수
14. NOT 연산 함수

1. 덧셈 함수¶

Q14. python opencv 덧셈 함수의 표현 방식을 적어보세요.

dst = cv2.add(src1, src2, mask=None, dtype=None)

• 덧셈 함수는 배열과 배열, 배열과 스칼라의 요소별 합을 계산한다.(아다마르 곱처럼!)
• src1와 src2의 각 요소를 더한 결과를 dst에 저장한다.
• 정밀도에 따라 요소의 최대값과 최소값이 있지만, 최대값을 넘어가거나 최소값보다 낮아질 수 없다.
• 덧셈 함수는 최댓값을 넘어가기 쉽기 때문에, 두 배열의 요소를 잘 고려해야 한다.

Q15. python opencv 뺄셈 함수의 표현 방식을 적어보세요.

dst = cv2.subtract(src1, src2, mask=None, dtype=None)

• 덧셈과 유사하지만, 뺄셈 함수는 빼는 순서가 중요하므로 이에 유의한다.

Q16. python opencv 곱셈 함수의 표현 방식을 적어보세요.

dst = cv2.multiply(src1, src2, mask=None, dtype=None)

• 배열과 배열, 배열과 스칼라의 요소별 곱에 scale을 곱한 값을 계산한다.
• 정밀도가 정수형일 때 소수점 단위는 버림 처리한다.

Q17. python opencv 나눗셈 함수의 표현 방식을 적어보세요.

dst = cv2.divide(src1, src2, mask=None, dtype=None)

• 나눗셈 함수 역시 곱셈함수와 동일하다.

Q18. python opencv 최대값 함수의 표현 방식을 적어보세요.

dst = cv2.max(src1, src2)

Q19.python opencv 최솟값 함수의 표현 방식을 적어보세요.

dst = cv2.min(src1, src2)

Q20. python opencv 절대값 함수의 특별한 점은 무엇입니까?

• 절대값 함수가 없어서, numpy 라이브러리의 절대값 함수를 빌려쓴다.

Q21. python opencv 절댓값 차이 함수의 표현 방식을 적어보세요.

dst = np.abs(src)

• 절댓값 차이 함수는 덧셈 함수나 뺄셈 함수 등에서 요소의 최댓값보다 크거나 최솟값보다 작을 때 발생하는 오버/언더플로우 문제를 피할 수 있다.

Q22. python opencv 비교 함수의 표현 방식을 적어보세요.

dst = cv2.absdiff(src1, src2)

• 비교 함수는 cmpop 매개 변수를 활용해 모든 요소에 대해 일대일 비교 연산을 수행한다.
• 비교결과가 True이면 값을 255로, 비교결과가 False이면 값을 0으로 변경한다.

Q23. python opencv 선형 방정식 시스템의 해 찾기 함수의 표현 방식을 적어보세요.

success, dst = cv2.solve(src1, src2, flags=None)

Q24. python opencv AND연산 함수의 표현 방식을 적어보세요.

dst = cv2.bitwise_and(src1, src2, mask=None)

Q25. python opencv OR연산 함수의 표현 방식을 적어보세요.

dst = cv2.bitwise_or(src1, src2, mask=None)

Q26. python opencv XOR연산 함수의 표현 방식을 적어보세요.

dst = cv2.bitwise_xor(src1, src2, mask=None)

Q27. python opencv NOT연산 함수의 표현 방식을 적어보세요.

dst = cv2.bitwise_not(src1, src2, mask=None)

Q28. AND, OR, XOR, NOT 연산에 대해 설명해주세요.

• AND : 둘 다 참일때
• OR : 둘 중 하나라도 참일때(둘다 참일때를 포함)
• XOR : 둘이 안맞을때
• NOT : 비트를 뒤집는다

이미지 연산이 왜 필요한가?

-비트와이즈 연산은 두 이미지를 합성할 때 특정 영역만 선택하거나 특정 영역만 제외하는 등의 선별적인 연산에 도움이 됩니다. 이 블로그 설명 참조

4. 영상의 밝기 조절(얼룩말책이 아닌 참고도서)¶

• 디지털 카메라로 사진을 찍다 보면 어둡거나 너무 밝게 사진이 찍히는 경우가 있다.
• 이런 경우, 간단한 영상 처리 기법을 이용하여 밝기 조절을 구현할 수 있다.
• 영상의 밝기 조절은 행렬의 덧셈과 뺄셈 연산을 이용하여 매우 간단히 구현할 수 있다.

1. 영상의 밝기 조절이란, 영상의 전체적인 밝기를 조절하여 밝거나 어두운 영상을 만드는 작업이다.
2. 영상 밝기 조절을 위해서는 모든 픽셀에 일정 값을 더하거나 뺍니다. 양수값을 더하면 영상이 밝아지고, 양수값을 빼면 영상이 어두워진다.
3. 영상의 밝기 조절을 수식으로 표현하면 다음과 같다.

$ dst(x,y) = src(x,y) + n $

1. 하지만, 영상의 최대값(정밀도)은 정해져 있기 때문에, 값의 범위를 벗어나는 경우 해당 자료형의 최솟값/최댓값으로 원소 값을 설정하는 연산을 포화연산(saturate)이라고 부르고, 이를 적용하여 밝기 조절을 수행한다.

$ dst(x,y) = saturate(src(x,y)+n)