プログラミング LLMタイムアウト問題をpolling非同期ジョブで解決した話
LLMリライトで発生したタイムアウト問題の根本原因と解決策を解説。SSEではなくpollingによる非同期ジョブ化を選んだ設計判断と、in-memory FIFOキューの実装を記録。
プログラミング
プログラミング
プログラミング
レビュー・比較