This project aims to automatically translate and summarize Huggingface's daily papers into Korean using GPT-4o.
Thanks to @AK391 for great work.
Vote: 26
Authors: Yubo Wang, Wenhu Chen, Xiang Yue
- What's New: Critique Fine-Tuning (CFT)은 기존의 Supervised Fine-Tuning (SFT)을 대체할 수 있는 새로운 학습 패러다임으로, 단순한 모방이 아닌 비판적 사고를 통해 모델을 더 향상시키는 방법론을 제안합니다. CFT는 노이즈가 섞인 응답을 분석하고 그에 대한 비판을 학습하여 모델의 이해력과 추론 능력을 향상시키며, 실험 결과 4-10%의 성능 향상을 보여줍니다.
- Technical Details: CFT에서는 GPT-4o를 교사로 사용하여 WebInstruct에서 5만 개의 샘플을 수집하고, 여기서 각각 질문과 노이즈가 있는 응답 쌍에 대한 비판을 생성합니다. 모델은 이러한 비판을 학습해 주어진 응답의 문제점을 분석하고 개선점을 제안하는 방식으로 훈련됩니다. 추가적으로, MetaMath 그리고 NuminaMath 데이터셋에서도 동일한 방식을 사용하여 범용성을 확인했습니다.
- Performance Highlights: CFT는 DeepSeek-Math-7B에서 3.5%, Qwen2.5-7B에서 10.4%, Qwen2.5-Math-7B에서 5.7%의 성능 개선을 보여줍니다. 특히, 50K 샘플로 훈련된 Qwen2.5-Math-CFT 모델은 2M 이상 샘플로 훈련된 기존 모델을 뛰어넘거나 비슷한 성능을 기록하여 데이터 효율성을 증명했습니다. CFT는 주어진 문제에 대해 보다 적은 데이터로 더 높은 성능을 낼 수 있는 효율적인 접근법입니다.
Vote: 24
Authors: Roman Engeler, Max Bartolo, Antonia Calvi, Mathias Leys, Andrei Alexandru, Toby Drane, Sashank Pisupati, Jackson Golden, Kyle Dai, Henry Broomfield, Maurice Burger, Young Sun Park
- What's New: Atla Selene Mini는 일반적인 언어 모델 평가를 위한 최신 소형 언어 모델로, LLM-as-a-judge (SLMJ) 분야의 최첨단 기술을 제안합니다. Selene Mini는 11개의 비분포 평가 벤치마크에서 고성능을 발휘하여 특화된 심판 및 GPT-4o-mini를 능가했습니다. 이 모델은 RewardBench에서 최고 성능을 보이며, 엄격한 데이터 큐레이션 전략과 새로 생성된 비판을 사용한 데이터셋 보강을 통해 이를 달성했습니다.
- Technical Details: Selene Mini는 577k 데이터 포인트의 16개의 공개 데이터셋을 사용하여 Llama 3.1 8B Instruct 모델로부터 파인튜닝되었습니다. 데이터 큐레이션 파이프라인을 개발하여 '선택'과 '거부'의 사고 사슬 비판(critiques)을 합성적으로 생성하고 이를 필터링하여 품질을 보장했습니다. DPO 및 SFT 손실을 결합하여 모델을 훈련시켰으며, 이는 인간 전문가 평가와 높은 일치성을 가지는 제로샷 성능을 보입니다.
- Performance Highlights: Atla Selene Mini는 총 11개의 벤치마크에서 다른 SLMJ 및 GPT-4o-mini보다 뛰어난 성능을 발휘했습니다. 특히 절대 점수 할당 작업에서 평균 0.648을 기록하며 이전 최고인 0.640을 초과했습니다. 이는 RewardBench와 EvoBiasBench, 그리고 Auto-J에서 GPT-4o를 능가하는 성과로 모델 크기에 비해 탁월한 성능을 보여줍니다. 또한, Selene Mini는 다양한 프롬프트 형식에 대한 일관된 성능을 유지하며, 판독 실패를 기본적으로 잘못으로 처리합니다.
Exploring the sustainable scaling of AI dilemma: A projective study of corporations' AI environmental impacts
Vote: 14
Authors: Martin Chauvin, Philippe Cordier, Louis Ladan, Simon Gosset, Clément Desroches, Caroline Vateau
- What's New: 이번 연구는 기업의 AI 포트폴리오가 환경에 미치는 영향을 추정하는 방법론을 제안합니다. AI와 생애 주기 평가(Life-Cycle Assessment; LCA)에 대한 광범위한 전문 지식 없이도 기업이 실행 가능한 인사이트를 얻을 수 있습니다. 결과적으로, 대규모 생성 AI 모델은 전통적인 모델보다 최대 4600배 더 많은 에너지를 소비하며, AI 전력 사용은 2030년까지 24.4배 증가할 것으로 예상됩니다.
- Technical Details: 본 논문에서 제안한 방법론은 1) AI 프로젝트에 사용되는 주된 구성 요소(컴퓨트, 스토리지, 네트워크)의 생애 주기 영향을 평가하고 2) 에너지 소비, 온실가스(GHG) 배출, 수자원 사용 및 자원 고갈 요소를 중심으로 다양한 AI 사용 사례를 분류합니다. 3) 전형적인 대기업의 AI 제품 포트폴리오를 간단히 모델링하고 4) 2030년까지 AI 기술의 채택, 효율성 및 복잡성의 변화를 예측합니다.
- Performance Highlights: 2024년 현재, 기업의 AI 포트폴리오 내 생성 AI 모델의 비중은 29%에 불과하지만 전체 에너지 소비의 99.9%를 차지하는 것으로 나타납니다. 이는 생성 AI가 전통적 AI 모델보다 본질적으로 에너지를 훨씬 더 많이 소모하기 때문입니다. 2030년 시나리오 중 '무제한 채택 시나리오'에서는 에너지 사용이 24.4배 증가하며, 제한적 성장과 효율성 돌파 시나리오에서는 에너지 사용이 70% 감소하는 것을 목표로 삼습니다.
Vote: 8
Authors: Aitor Arrieta, Sergio Segura, José Antonio Parejo, Miriam Ugarte, Pablo Valle
- What's New: OpenAI의 새로운 대형 언어 모델(LLM), o3-mini의 배포 전 안전성 테스트 결과가 보고되었습니다. 이 연구는 Mondragon University와 University of Seville의 연구진에 의해 수행되었으며, 그들의 도구 ASTRAL을 사용해 14개 안전 카테고리를 기반으로 최신의 비안전 테스트 입력(prompt)을 생성하였습니다.
- Technical Details: ASTRAL은 LLM의 안전성을 검사하기 위해 자동으로 비안전 테스트 입력을 생성하는 도구입니다. 이 도구는 Retrieval Augmented Generation(RAG) 및 few-shot prompting 전략을 활용해 다양한 안전 카테고리에서 비안전 입력을 생성하며, 최근 사회적 동향과 주제를 반영하기 위해 웹 브라우징을 통해 최신 정보를 가져옵니다. 또한, 테스트 결과를 자동으로 분류해 비안전 출력을 식별합니다.
- Performance Highlights: OpenAI의 o3-mini 모델은 총 10,080개의 비안전 테스트 입력 중 87개의 비안전한 출력을 생성하여 상대적으로 높은 안전성을 보였습니다. 특히 논쟁적인 주제와 관련된 카테고리에서 비안전 출력이 가장 많이 발생했습니다. 이는 이전 버전의 모델에 비해 개선된 결과이며, 정책 위반 감지 기능이 이러한 안전성을 확보하는 데 중요한 역할을 했습니다.
Vote: 6
Authors: Tiansheng Huang, Selim Furkan Tekin, Sihao Hu, Ling Liu, Fatih Ilhan
- What's New: 이 연구는 최신의 대형 언어 모델(Large Language Models; LLMs)에 대한 위험성을 제시하며, 소량의 유해 데이터를 사용하여 미세 조정(fine-tuning)을 통해 모델의 안전한 정렬(safety alignment)이 손상될 수 있음을 보여줍니다. Virus라는 새로운 공격 방법을 개발하여 LLM의 안전성을 보호하기 위한 guardrail 모더레이션을 우회할 수 있음을 증명했습니다.
- Technical Details: Virus는 데이터 최적화(data optimization) 방법을 사용하여 유해 데이터를 약간 수정하여 guardrail 모더레이션을 우회하는 방법입니다. 이 연구는 두 가지 목적을 가진 최적화 목표를 설계했으며, 유해 데이터를 안전하게 보이도록 하여 guardrail을 통과하고, 동시에 유해한 그라디언트를 모방하여 모델의 안전 정렬을 깨뜨립니다.
- Performance Highlights: Virus는 guardrail 모더레이션을 100% 누출률로 우회하며, LLM의 유해 점수를 최대 21.8% 증가시켰습니다. 실험 결과 Virus가 높은 공격 성능을 가지며, 현재의 guardrail 모더레이션이 이러한 유형의 공격에 대해 충분히 강력하지 않음을 강조합니다.
People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text
Vote: 5
Authors: Mohit Iyyer, Jenna Russell, Marzena Karpinska
- What's New: 연구팀은 ChatGPT를 자주 사용하는 사람들이 AI 생성 텍스트를 감지하는데 뛰어난 능력을 가지고 있으며, 이는 특별한 훈련이나 피드백 없이도 가능하다는 것을 발견했습니다. 특히 소위 '전문가'라는 평가자들은 300개의 기사 중 단 1개의 기사만 잘못 분류하여 상업적 및 오픈 소스 감지기를 초과하는 성능을 보여주었습니다.
- Technical Details: 실험은 GPT-4O, CLAUDE-3.5-SONNET, O1-PRO라는 상용 대형 언어 모델(LLMs)이 생성한 텍스트를 감지하는데 초점을 맞췄습니다. 평가는 300개의 비소설 영어 기사를 대상으로 하였으며 각 기사는 사람 또는 AI에 의해 작성되었는지 평가되었습니다. 예상치 못한 회피 전술에도 불구하고 대부분의 감지기가 실패한 영역에서 인간 전문가들은 월등히 뛰어난 능력을 보였습니다.
- Performance Highlights: 연구에서 발견된 가장 의외의 결과는, LLM을 자주 사용하는 5명의 전문가로 구성된 팀이 300개 기사 중 단 하나만 잘못 분류했다는 것입니다. 이는 Pangram과 같은 상업적 모형과 거의 동일한 정확도를 기록한 것입니다. 이러한 결과는 인간 감지가 고위험 상황에서 독립적인 감지 메커니즘으로 유망하다는 것을 시사합니다.
TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models
Vote: 3
Authors: Makoto Shing, Han Bao, Kou Misaki, Sho Yokoi, Takuya Akiba
- What's New: TAID는 대형 언어 모델(Large Language Models)의 지식 전수를 위한 새로운 지식 증류(Knowledge Distillation) 기법으로, 학생과 교사 모델 간의 분포를 시간에 따라 동적으로 보간하여 학생 모델이 점진적으로 교사 모델의 성능에 가까워지도록 합니다. 이를 통해 용량 격차(Capacity Gap)를 해결하고, 모드 평균화(Mode Averaging)와 모드 붕괴(Mode Collapse) 문제를 균형 있게 해결합니다.
- Technical Details: TAID는 학생과 교사 모델 사이의 중간 교사 분포를 시간적으로 동적으로 구성하여 지식 전수를 점진적으로 수행합니다. 이는 KL 다이버전스를 기반으로 한 기존 증류 방식의 한계를 극복하며, 중간 분포를 사용하여 교사와 학생 모델 사이의 미세한 전환을 지원합니다. 시간에 따른 보간 매개변수(interpolation parameter)를 적응적으로 조정하여 모델 학습이 학생 모델의 능력에 맞춰 안정적이고 효율적으로 이루어지도록 합니다.
- Performance Highlights: TAID는 다양한 모델 크기와 아키텍처에서 기존 최첨단 방법보다 우수한 성능을 보여주며, LLM 및 VLM 분야에서의 지식 전수에서 뛰어난 성능을 발휘합니다. 특히, TAID-LLM-1.5B는 2B 파라미터 이하의 언어 모델에서 최고 성능을 기록하였고, TAID-VLM-2B는 4B 파라미터까지의 비전-언어 모델에서 최고 성능을 보여 다양한 도메인에서의 효율적인 지식 전수를 입증하였습니다.
Vote: 1
Authors: Jiang Liu, Changhong Liu, Shining Wan, Gengyuan Dan, Chao He, Xusheng Chen, Jie Meng, Yue Yu, Jiang Xu, Baoquan Zhang, Qin Zhang, Zhiyu Dong, Yuetao Chen, Zhixia Liu, Hao Xu, Yizhou Shan, Hao Feng, Dayun Lin, Junhao Hu, Yulong He, Zhihao Ren, Tao Xie
- What's New: DEEPFLOW는 클라우드 환경에서 대형 언어 모델(LLMs)의 효율적인 서비스를 제공하기 위해 설계된 확장 가능하고 서버리스(Serverless) AI 플랫폼입니다. DEEPFLOW는 자원 할당, 서비스 효율성, 및 콜드 스타트 대기 시간과 같은 주요 과제를 해결하기 위해 네 가지 디자인 컴포넌트로 구성되어 있습니다.
- Technical Details: DEEPFLOW는 요청-작업-태스크 모델(request-job-task model)을 사용하여 AI 워크로드를 관리하고, 분산 아키텍처를 통해 작업을 처리합니다. 새로운 서빙 엔진인 FLOWSERVE는 마이크로커널 지향 설계(microkernel-inspired design)를 기반으로 하며, NPU 중심 실행(NPU-centric execution)과 SPMD 기반 병렬 처리(SPMD-based parallelism)를 채택하여 LLM 서빙을 최적화합니다. 분산 스케줄링 알고리즘과 함께 사용되며, 빠른 스케일링을 통해 64개의 인스턴스를 몇 초 내에 확장할 수 있습니다.
- Performance Highlights: DEEPFLOW는 Huawei Ascend NPU 클러스터 위에서 실행되어 엔터프라이즈 표준 API를 제공하고 있으며, FLOWSERVE는 비동기 스케줄링과 IPC 최적화를 통해 성능을 개선했습니다. 통합된 스케줄링 알고리즘은 텐서 캐시(Tensor Cache)와 자원 사용을 최적화하여 높은 성능을 유지합니다.
This project is licensed under the CC BY-NC 4.0 license.
If this work is helpful, please kindly cite as:
@misc{daily_papers,
title = {Huggingface Daily Papers},
author = {AK391},
howpublished = {\url{https://huggingface.co/papers}},
year = {2023}
}
@misc{daily_papers_ko,
title = {Automatically translate and summarize huggingface's daily papers into korean},
author = {l-yohai},
howpublished = {\url{https://github.com/l-yohai/daily_papers_ko}},
year = {2023}
}