Zed, 새로운 오픈 모델 Zeta로 다음 편집 예측 기능 제공

Zed의 속도와 예측 편집 기능

• Zed는 빠른 편집 경험을 제공하기 위해 설계되었으며, 이제 Zeta라는 오픈 소스 모델을 통해 예측 편집 기능을 도입함.
• 사용자가 작업할 때 Zed는 다음 편집을 예측하여 tab 키를 눌러 적용할 수 있으며, 연속적인 편집도 가능함.
• 이 기능은 많은 요청을 받아 개발되었으며, 현재 GitHub 계정으로 로그인하여 무료로 사용할 수 있음.

사려 깊은 통합

• tab 키는 기존의 들여쓰기와 같은 기능을 유지하면서 예측 편집을 위한 마법의 키로 변환됨.
• 언어 서버의 제안이 있을 때는 option 또는 alt 키를 눌러 예측 편집을 미리 볼 수 있음.
• macOS에서는 tab 키로 확인할 수 있으며, Linux에서는 alt-l을 대체 키로 제공함.

Zeta 소개: Zed의 오픈 소스 예측 편집 모델

• Zeta는 Qwen2.5-Coder-7B에서 파생된 오픈 소스 모델로, 오픈 데이터셋을 포함함.
• 오픈 소스 저장소에서 작업하는 경우, 데이터셋 개선을 위해 기여할 수 있음.

편집을 통한 재작성

• 대부분의 코딩 모델은 "중간 채우기" 작업에 훈련되지만, Zeta는 임의의 위치에서 편집을 예측하도록 설계됨.
• 모델은 최근 편집 목록과 커서 위치를 기반으로 텍스트 조각을 재작성하여 예측 편집을 통합함.

예측 평가

• 코드 작성 전에 아이디어가 작동하는지 확인하기 위한 테스트 세트를 생성함.
• 전통적인 단위 테스트 접근법 대신, 더 큰 LLM을 사용하여 Zeta의 편집을 평가함.

프롬프트 엔지니어링

• Qwen2.5-Coder-32B를 사용하여 명확한 지침을 제공하여 예측하려는 편집 유형을 지정함.
• 초기 테스트에서는 성공적이었으나, 더 많은 테스트를 도입하면서 일관성 있는 통과가 어려워짐.

지도 학습을 통한 미세 조정

• Unsloth와 LoRA를 사용하여 지도 학습을 통해 Zeta를 미세 조정함.
• 초기에는 Claude를 사용하여 50개의 합성 예제를 생성하고, 팀의 사용 사례를 통해 데이터셋을 구축함.

직접 선호 최적화

• 직접 선호 최적화(DPO)를 사용하여 모델이 피해야 할 편집을 학습하도록 함.
• 약 150개의 신중하게 선택된 예제를 통해 Zeta의 행동을 개선함.

지연 시간 최소화: 추측 디코딩

• 예측 편집의 지연 시간을 줄이기 위해 추측 디코딩을 사용하여 성능 목표를 달성함.
• 입력을 참조로 사용하여 병렬 토큰 생성을 통해 속도를 높임.

지연 시간 최소화: 모델 서비스

• Baseten과 협력하여 모델을 최적화하고, 네트워크 전송 시간을 줄이기 위해 다양한 지역에 GPU를 배치함.

결론

• 예측 편집을 더욱 강력하게 만들기 위해 실험을 계속할 예정임.
• Zed AI 출시 이후 많은 것을 배웠으며, AI와 함께 Zed 방식으로 기능을 구축하는 데 흥미를 느끼고 있음.