Twitter에 올린 사진은 UI 디자인에 맞게 자동으로 트리밍되지만, "생각했던 것과 다르다..."라고 자르는 방법에 대한 이야기기 종종 있었다. Twitter는 AI 기술을 활용하여 보다 신속하고 최적의 조정이 가능하게 되었다고 공식 블로그에서 발표.
2011년 부터 이미지 투고가 가능하게 되었던 Twitter에서는, 스마트폰 등의 화면 레이아웃에 따라 사진을 트리밍 한 후 썸네일로 표시했다. 그러나 자동 트리밍 기능의 정확도가 낮았기 때문에 생각하는 이미지로 트리밍되지 않는 경우도 종종 있었다.
지금까지도 얼굴 인식 기능 등을 사용하여, 사진에 찍혀있는 인물의 얼굴에 초점을 맞춰 사진을 트리밍하는 것으로, 트윗하는 사람의 이미지에 가까운 썸네일 만들기를 목표로하고 있었지만, 모든 사진에 인물이 등장하는 것도 없고, 좀처럼 잘되지 않았다고 한다.
또한, 얼굴이 검출되지 않는 경우는 기본적으로 사진의 중심을 기준으로 트리밍하는 유감스러운 사양이었던...
왼쪽이 기존의 자동 트리밍. 오른쪽은 이상적으로 자동 트리밍 된 것.
그래서 Twitter에서는 자동 트리밍 기능을 개선하기 위해, 이미지의 "salient(뚜렷한)" 영역에 초점을 맞추고 트리밍의 아이디어를 도입하게 되었다. 눈에 띄는 영역은 그림을 본 사람이 시점을 맞출 가능성이 높은 영역이라는 것이다.
일반적으로 사람들은 사진에 있는 "얼굴", "텍스트", "동물" 등의 물체 외에, 콘트라스트가 높은 부분에 주의를 기울이는 경향이 있기 때문에, Twitter는 신경망이나 특정 알고리즘을 단련하는 것으로, 사람이 무엇을 보고 싶은지 정확하게 예측하는 기술을 개발 한 것.
기계 학습 기술의 발전으로 사람들이 주목하기 쉬운 "현저한 영역"을 예측하는 정확도는 매우 높아지고 있는데, 여러 장의 사진을 게시하면 Twitter라는 서비스의 특징으로부터 말하면, 대량의 이미지를 로드하는 것으로 단련된 신경망을 이용하여 이미지를 트리밍하는 방법으로는 시간이 너무 많이 걸려 부적당했었다.
Twitter의 경우 섬세한 픽셀 수준의 예측은 불필요하고, 현저한 영역이 어디인지 대충 알 필요가 있기 때문에, "knowledge distillation"라는 수법으로, 현저한 영역을 예측하는 네트워크 사이즈를 대폭 줄이기로 했다고 한다.
지식의 증류에 의해 크기를 줄인 다음, "pruning(가지치기)"이라 부르는 작업을 통해, 이미지 검출 정도에 기여하지 않는 역할에 연산 능력을 낭비하고 있는 특징을 제거하는 작업을 한 것. 증류와 전정이라는 2종류의 AI 기술을 결합, 기계 학습을 이용하여 예측 한 "현저한 영역"에 따라 이미지를 자르려면 속도가 기존 기술에 비해 최대 10배정도 빨라질 수 있다고 Twitter는 말하고 있다.
투고시에 거의 대기 시간이 걸리는 일없이 자연스러운 트리밍이 가능한 신기술은, 기존은 "발밑"에 초점을 맞추어 버렸던 유감스러운 썸네일을 "아이의 표정"에 초점을 맞춘 트리밍이 가능하게...
물체가 많은 상황에서도 텍스트 등 중요한 요소를 정확하게 간파하고 자르기 할 수 있게 되었다.
여러 장의 사진을 게시한 경우에도 빠짐없이 최적화 된 것을 알 수있다. AI 기술을 활용 한 자동 트리밍 기능은 브라우저 버전, iOS/Android 판 어플리케이션으로 이미 도입되어 있다.
