系統設計: 處理服務讀取多個任務遇到的問題 (Go 語言)

[@zeralux100]

如果agentservice請求任務方式是批處理的概念呢? 一次請求100, 200個task交給10個worker消耗 , task消耗完了&有空閒的work , 則再情求taskservice 新的一批task

[@appleboy46]

如果一次請求 100 個，給 10 個 worker 消耗，會遇到一個問題，假如前 10 個 task 每個 task 都需要長時間（一小時才能處理完），這樣後面 90 個 Task 都在等，這解法不是很好。

[@nengliu5813]

你这代码写得，减少链接了，但是也减少处理任务的性能了，你创建了5个工人干活，但是只有一把钥匙，5个人谁抢到这把钥匙，谁去干活，其他4个人就干等着(select阻塞), 为啥不写简单一点呢，一个主进程取5条task，再根据实际取到的task数目(假如是n), 然后再开n个goroutine去处理这个取到的n条待处理的任务呢(n

[@appleboy46]

你可以嘗試看看代碼，目前是沒有 select 阻塞。也或者是你可以提供一下其他方案的寫法。另外一次取五條 Task，還需要考率確保其他機器 Worker 不會拿到重複的 Task。

[@ggen6580]

@@appleboy46 新的任务进入，还没进入task状态时，可以都堆积在一个cache pool里面，cache去做任务的去重，这样后续的worker就不会拿到重复的task了。 task manager 去处理task任务，保持上限，入cache的都丢在一个channel中，task manager处理完毕一个就接收下一个，这样简单得多吧；太多loop 太绕了。