在技術領域中遇到兩難時,是不是通常都因為兩難其實是兩優(各有優缺)的情況.那麼解決方法通常可以是依一定比例混合兩個方案.在RAG vs Long Context的情境,各走極端也就是兩難,混合可能就是兩優. Context是可以預見的會增長, RAG的retrieval rules也可以更智能,現在問題是哪個能在更優的成本內完成更優的效能,那麼用機器學習來學習分配成本比例給這兩難來達到兩優是不是也是可行的方向. 例如,在Model容許的Context limit內放在Context的資料的Compression rate該多少 vs RAG retrieval 的 scope/size.
The interview conversations have truly impressed me with their depth of knowledge and insightful thinking. I believe that a company led by such a CEO is poised for a bright future.