딥러닝(Deep Learning) 학회에 논문을 제출한 뒤에, 리뷰(Review) 평가 분석 및 Rebuttal 쓰는 방법

[Review 양식]

 

  논문이 학회나 저널에 제출되면, 리뷰 과정을 거쳐 해당 논문을 수락할 것인지 아닌지 결정한다. 일반적인 리뷰(review) 양식은 다음과 같은 구조를 따른다.

 

  1. 요약(Summary): 해당 논문의 내용을 요약하여 작성한다.

  2. 참신성(Novelty): 해당 논문이 제안한 메서드, 시스템, 혹은 애플리케이션이 참신한지 작성한다.

  3. 평가(Evaluation): 논문에서 제안한 방법이 이론적으로 혹은 실험적으로 잘 검증되었는지 작성한다.

  4. 결과의 유의미함(Significance): 논문에서의 결과가 중요한(significant) 결과인지 작성한다.

  5. 강점(Strengths): 논문의 강점을 작성한다. "논문이 잘 작성되었고, 아이디어가 참신하다.", "본 논문의 메서드는 어떠한 부분에서 효율성이 높다."와 같은 내용이 많이 들어간다.

  6. 약점(Weaknesses): 논문의 문제점 및 약점을 작성한다. "어떠한 부분에서 실험이 부족하다.", "이론적인 검증이 부족하다.", "기존에 제안되었던 방법과 유사하다."와 같은 내용이 들어갈 수 있다.

  7. 점수(Rating): 논문에 점수를 매긴다. 일반적으로 "Strong Accept", "Weak Accept", "Borderline", "Weak Reject", "Strong Reject"으로 점수를 매긴다.

  8. 자신감(Confidence): 논문을 읽고 있는 리뷰어의 해당 분야의 자신감을 의미한다. 자신이 이 분야의 전문가라면 높은 자신감 값을 부여한다.

 

  많은 학회에서는 rebuttal 과정을 포함한다. rebuttal은 "반박"의 의미를 가지고 있다. 쉽게 말해 리뷰어가 논문을 잘못 읽고 판단한 경우가 있다면, 이 부분에 대하여 바로 잡고자 노력하는 것이다. 또한 리뷰어가 잘못된 주장을 한다고 판단이 되면, 정중하게 이에 대하여 반박한다. rebuttal 과정에서는, 기본적으로 리뷰어가 작성한 내용을 놓치지 않고 최대한 간결하고 명확하게 작성하도록 권장된다.

 

  또한 전체 리뷰 과정은 더블 블라인드(double blind)로 진행되는 경우가 많다. 리뷰를 할당하는 과정에서는 Program Chair (PC) → Area Chair (AC) → Reviewer 순으로 논문을 할당하는 경우가 많다. 이후에 저자(author)로부터 rebuttal이 도착하면, 그 결과를 수합하여 최종적으로 논문을 수락할 것인지 거절할 것인지 결정한다.

 

[학회 구성원의 역할]

 

  ▶ AC(Area Chair): Area Chair는 실질적으로 학회 프로그램을 curating 하는 데에 중요한 역할을 수행한다. 학회마다 다르지만, 대개 20개 이상의 논문에 대하여 review process가 순조롭게 진행될 수 있도록 한다. 일반적으로 해당 분야 학회에서 인정을 받으며 많은 논문을 쓰고 있는 교수님들이 AC 역할을 받는 경우가 많다. 학회에 따라서 역할이 조금씩 다를 수 있는데, 일반적으로 논문에 리뷰어를 할당하고, review와 rebuttal을 모두 읽고, 결과를 통합한다. 이후에 리뷰어(reviewer)들이 성실하게 참여했는지 확인하기 위해, 그들이 작성한 리뷰에 대해서 평가하기도 한다.

  ▶ 리뷰어(Reviewer): 일반적으로 4~6개 정도의 논문을 할당받아 검토한다. 논문을 읽고 나서 논문의 내용 및 장단점을 분석하고, 논문에 대한 점수(score)를 매긴다. 논문을 충분히 읽고 나서, 건설적인 언어로 저자에게 명확한 요청을 해야 한다.

 

[Rebuttal 작성 팁]

 

  개인적으로 많은 도움이 되었던 글은 Devi Parikh의 "How We Write Rebuttals"이다.

 

  ▶ 원문 보기: https://deviparikh.medium.com/how-we-write-rebuttals-dc84742fece1

How we write rebuttals

 

  본 글에서는 CVPR, ECCV, ICCV, NeurIPS, ICLR, EMNLP와 같은 AI 학회에 적합한 rebuttal 방법을 제안한다. 일반적으로 논문을 submit하면, 해당 논문에 대한 리뷰(review)가 도착하고, rebuttal 기회가 생긴다. 일반적으로 리뷰어(reviewer)와 area chair가 rebuttal을 받는 대상이며, 최대한 간결하고 이해하기 쉽게 작성해야 한다.

 

  또한 에세이 리뷰(Essay Review) 사이트에서 제공하는 "학술 논문 영작 및 저널 커버레터/반박레터 샘플 및 표현 모음" 글도 한 번쯤 읽어 보면 좋다. 개인적으로 처음 논문을 쓸 때 도움이 될 법한 내용이 포함되어 있다고 생각한다.

 

  마지막으로 "효과적인 반박 레터(rebuttal letter)로 논문 투고 성공하기" 글도 참고하면 좋다. 기본적인 지양 사항이나, 사용하기에 좋은 영어 표현들이 포함되어 있다.

 

  특히나 많은 사람들이 이야기 하기를, 리뷰 앞 부분에서 긍정적인(positive) 멘트와 함께 시작하는 것이 좋다고 한다. 예를 들어 다음과 같은 멘트를 사용할 수 있다.

 

Dear reviewers,
We appreciate the thoughtful feedback of reviewers.

 

[Rebuttal 매뉴얼 예시]

 

  아래 매뉴얼은 ACM 학회(Conference) 중 하나에서 제공하는 rebuttal 매뉴얼이다. 기본적으로 최대 5,000자까지 작성할 수 있으며, 오직 텍스트(text)로만 작성할 수 있다. 이때 외부 링크를 포함할 수 없게 되어 있다. 또한 블라인드 리뷰라는 점에서 rebuttal에서도 익명성(anonymity)을 유지할 필요가 있다.

 

▶ [Rebuttal] Please keep in mind the following during this rebuttal process:

* The word limit for the rebuttal is 5000 characters, in plain text.
* The response must focus on any factual errors in the reviews and any questions posed by the reviewers. It must not provide new research results or reformulate the presentation. Evaluation of your paper will be based only on the version of the paper that you have submitted. Try to be as concise and to the point as possible in your rebuttal.
* You may not place links to documents on the Internet as part of the 5000 characters to get around the word limit.
* The review response period is an opportunity to react to the reviews, but not a requirement to do so. Thus, if you feel the reviews are accurate and the reviewers have not asked any questions, then you do not have to respond.
* The reviews are as submitted by the PC members, without any coordination between them. Thus, there may be inconsistencies. Furthermore, these are not the final versions of the reviews. The reviews can later be updated to take into account the discussions at the program committee meeting, and we may find it necessary to solicit other outside reviews after the review response period.
* The program committee will read your responses carefully and take this information into account during the discussions. On the other hand, the program committee will not directly respond to your responses, either before the program committee meeting or in the final versions of the reviews. If you have any confidential comments about the reviews you received, you may choose to leave your comments in the textbox “confidential comments to ACs/PCs.”
* Your response will be seen by all PC members who have access to the discussion of your paper, so please try to be polite and constructive.
* You must continue to maintain your anonymity in the rebuttal.

 

  또한 리뷰어(reviewer)에게는 도착하지 않으며, Area Chair (AC)에게만 전달하고 싶은 메시지가 있다면, 따로 비밀 코멘트(confidential comment)를 남길 수 있는 영역이 존재하는 경우가 있다. 그리고 필자가 경험했던 학회에 한해서는, rebuttal 기간 동안에는 CMT와 같은 사이트에서 rebuttal 내용을 최종 제출 기한 전까지는 수정이 가능했다. 따라서 일단 rebuttal 기간에는 최대한 빠르게 핵심적인 내용 위주로 rebuttal을 작성하고, 기간 동안 계속 수정하면 좋다.