형님 혹시 vision language model은 관심 없으신가요? llava같은거... 혹시 한번 리뷰해주시면 감사하겠습니다 ㅜ.ㅜ 한달째 연구 진전이 없네요 모델이 잘 동작하지 않아서... 왜 그런지 정확한 이유를 모르겠습니다. projection layer만 따로 학습 시키는 이유도 모르겠구요.. 부탁드립니다! ㅜㅜ
@KwangrokRyoo28 күн бұрын
lm, vm 다 학습된걸 가져오는거라 얼라잉만 맞춰주면 되어서 프로젝션만 학습시켜줍니다. 근데 얼라잉만 맞추면 좀 별로니까 스테이지2에서 같이 튜닝한번 해주는거구요.