Posts

문제: 부분 시스템의 조립, 의사결정 제약, 정보 처리 자원의 한계를 함께 표현할 모델이 필요하다. 방법: root와 decision constraint를 갖는 SCDM 및 이를 기간별로 반복하는 SCDP를 정의한다.

문제: dynamics가 바뀌면 같은 state·action 형식의 과거 경험도 target에 맞지 않을 수 있다. 방법: target inverse policy로 source action·reward를 보정하고 forward model로 채택 여부를 정한다.

문제: multi-turn RL은 초반의 향상 뒤에 반복적인 행동과 성능 붕괴를 보일 수 있다. 방법: 전체 trajectory를 조직하는 StarPO와 uncertainty filtering·gradient shaping을 사용하는 StarPO-S를 분석한다.

문제: 단일 실패에서 harness 전체를 수정하면 task별 추론 실수와 공통 실행 결함이 섞인다. 방법: 성공·실패 대조와 task 간 근거 집계로 수정할 기능을 찾고 모듈별로 독립 진화 후 통합한다.

문제: episode별 성공 최적화는 다음 시도에 도움이 되는 탐색의 가치를 놓칠 수 있다. 방법: LaMer는 여러 episode와 reflection을 하나의 trial로 묶어 cross-episode return으로 학습한다.

문제: harness 실패를 점수나 고정 요약만으로 진단하면 중요한 실행 정보가 빠질 수 있다. 방법: coding-agent proposer가 과거 코드·점수·trace를 직접 조사해 새로운 Python harness를 작성한다.

문제: 공유 경험이 너무 구체적이면 다른 환경에 맞지 않고, 너무 추상적이면 행동을 정하기 어렵다. 방법: local 경험에서 공유 record를 추상화·검증해 global memory를 만들고 현재 상황에 맞춰 검색·조합한다.

문제: RL 학습의 gradient와 optimizer state가 추론에 필요한 weights보다 큰 메모리 부담을 만들 수 있다. 방법: gradient sketch를 바로 누적하고 RowAdam 및 predicted-KL step control로 원래 weights를 갱신한다.

문제: 자동 harness 개선에는 benchmark별 seed, 높은 optimizer 비용, 일반화 평가의 구분이 필요하다. 방법: 성공·실패 대조에서 component를 만들고 library로 harness를 조립하며 validation pass@2 gate로 선택한다.

문제: specialized harness의 trajectory는 student에게 없는 tool·정보에 의존해 그대로 학습시키기 어렵다. 방법: reviewer가 실행 전 student 응답을 target-native 행동으로 교정하고 accepted trajectory로 SFT한다.

문제: 새 task마다 harness를 고치는 시행착오를 줄일 수 있을까? 방법: 실행 피드백을 읽고 유용한 코드 수정을 제안하는 proposer를 강화학습으로 학습한다.

문제: regret가 줄어도 더 좋은 탐색 전략을 배웠다고 단정할 수 없다. 방법: 실제 reward·전략적 reward·UCB action matching·UCB 계산 과정의 SFT를 비교한다.

문제: 한 환경에서 agent RL을 수행하면 다른 도메인 성능을 잃는 generalization tax가 발생한다. 방법: 네 환경의 single-source 전이와 state 정보량·계획 복잡성, SFT·thinking 조건을 비교한다.

문제: 외부 memory와 planner가 있어도 언제 활용할지 고정하면 모델·환경에 맞춰 조절하기 어렵다. 방법: Belief·Progress·Experience를 track·commit·recall·note action으로 사용하도록 SFT와 cost-aware GRPO를 수행한다.

문제: 원래 목표가 같아도 환경에 대한 가정 하나가 깨지면 terminal agent의 전략이 실패할 수 있다. 방법: AGNI는 성공 trajectory의 가정에서 novelty를 만들고 base·novel·disclosed 조건을 비교한다.

문제: 긴 작업의 harness 결함을 사람이 진단하고 고치는 과정은 비싸며 task별 과적합도 생길 수 있다. 방법: trace 진단·patch·검증·reflection을 반복하고 코드 diff와 교훈을 EvoDAG에 축적한다.

문제: 최종 점수만으로는 초기 능력과 경험을 통한 개선, 그 비용을 구분할 수 없다. 방법: weights가 고정된 agent lineage의 artifact와 held-out 학습 곡선을 추적해 plasticity를 측정한다.