[19/04/01] 진행 상황

YOLO Training의 Resizing 과정에서 그래픽 메모리가 기존 이미지 데이터(해상도 1920*1080)를 넣었을 때 메모리 초과 오류가 나서 교수님이 제시해주신 방법으로 시도해봤습니다.

사진에서 신호등의 대부분이 사진의 높이 60% 부분에 있기 때문에 사진을 1080 * 60% 정도가 되는 640 픽셀을 기준으로 잡았습니다. 그리고 640 * 640으로 이미지를 3개로 나눴습니다.

그리고 이미지 700장 정도를 3장으로 나눠 총 2100장 정도의 이미지를 아래 Class를 기준으로 Bounding Box를 그렸습니다.

• Class
  • 0 : General TL
  • 1 : Bus-only TL
  • 2 : TL with Sign

현재 Training 과정에 있고, 화요일 오전에 Test Dataset으로 성능 확인해볼 계획입니다.
6000번 Training 후에 성능 확인을 해봤는데 General TL은 95.58%의 mAP를 보이나, Bus-only TL에 대해서는 현저하게 낮은 성능을 보였습니다. Dataset에 Bus-only TL이 너무 적어서 그런 것으로 판단됩니다.

기존에 가지고 있던 (Training에 쓰이지 않은) TL Image를 입력했을때 General TL을 Bus-only TL로 인식하거나 General TL 자체를 인식하지 못하는 경우가 있는 것도 확인했습니다.

현재 가지고 있는 Dataset이 거리뷰에서 얻은 이미지, 두 종류의 차에서 얻은 Blackbox 이미지, 그리고 주행중 스마트폰으로 촬영한 이미지인데 각각의 이미지들이 데이터가 많지 않아 정확도가 더 떨어지는 것 같습니다. 주말에 이미지들을 다시 모은 후 Training을 해볼 계획입니다.

그 밖에 관련 논문 및 이전에 공부했던 Youtube 머신러닝 강좌와 Coursera 딥 러닝 강좌를 다시 보고 있습니다. 다시 보면서 현재 상황에 제가 어떤 기술이 도움이 될지 공부하고 있습니다.

계획(로드맵)

Traffic Light(hereinafter referred to as TL)의 종류가 엄청 다양하기 때문에, Bus-only TL을 Detection을 하는데는 한 단계 기술을 거치는 것으로는 충분하지 않다. TL을 검출해내고, Traffic Sign의 글자도 인식해야 한다.

1. TL Detection

   • class 0 : General TL
     • 2단계로 넘어간다.
   • class 1 : Bus-shaped TL
     • Detection 끝.
   • class 2 : TL with Sign
   • Real-time processing에 적합한 YOLO를 사용할 것으로 예상된다.

2. Traffic Sign Detection

   • 신호등과 가까운 표지판을 찾아내야한다. 대개 해당 신호등의 위쪽에 있다.
   • 그 표지판에 적힌 글자에 버스 전용, 중앙 차선이 포함되어 있는지 확인해내야한다.
   • 저해상도 이미지의 깨진 글자를 인식해낼수 있어야 한다.
   • 깨진 글자를 해결할 수 있는 기술이 필요하다
     • up-scaling
   • Tesseract OCR, SVM
   • 참고 링크

예상되는 한계점 : Real-Time Image Processing이기 때문에 Input Image의 화질이 좋지 않다.
horizontal TL에 대해서만 고려하고, 검출하는 모델을 만들었기 때문에 vertical TL에 대한 성능은 확신할 수 없다.