import torch
import torch.nn.functional as F


def sequence_logps(logits, labels):
    # logits: [B, L, V]；labels: [B, L]
    # labels 与模型位置对齐，prompt、图像占位和 padding 位置标为 -100。
    # 位置 t 的 logits 预测位置 t+1 的 token。
    target = labels[:, 1:]
    mask = target.ne(-100)
    safe_target = target.masked_fill(~mask, 0)
    token_logps = logits[:, :-1].float().log_softmax(dim=-1).gather(
        -1, safe_target.unsqueeze(-1)
    ).squeeze(-1)
    # 原始 DPO 使用完整回答的 log probability：有效 token 求和。
    return token_logps.masked_fill(~mask, 0.0).sum(dim=-1)


def dpo_loss(chosen_logps, rejected_logps,
             ref_chosen_logps, ref_rejected_logps, beta=0.5):
    policy_gap = chosen_logps - rejected_logps
    reference_gap = ref_chosen_logps.detach() - ref_rejected_logps.detach()
    margin = beta * (policy_gap - reference_gap)
    return -F.logsigmoid(margin).mean(), margin


def main():
    torch.set_num_threads(1)
    # 只验证一个偏好对的 loss 与梯度，不是 VLM 训练。
    # 把完整回答压缩成三个互斥事件：chosen、rejected、其他所有回答。
    reference_logps = torch.tensor([0.20, 0.10, 0.70]).log()
    logits = torch.nn.Parameter(torch.tensor([0.30, 0.05, 0.65]).log())
    optimizer = torch.optim.SGD([logits], lr=0.1)

    def evaluate():
        logps = logits.log_softmax(dim=-1)
        loss, margin = dpo_loss(
            logps[0:1], logps[1:2],
            reference_logps[0:1], reference_logps[1:2],
        )
        return logps.exp(), loss, margin

    before, loss, margin = evaluate()
    print('Before:', [round(x, 6) for x in before.detach().tolist()])
    print(f'z={margin.item():.6f}, preference={margin.sigmoid().item():.6f}')
    print(f'loss={loss.item():.6f}')
    optimizer.zero_grad()
    loss.backward()
    print('Logit gradient:', [round(x, 6) for x in logits.grad.tolist()])
    optimizer.step()
    after, new_loss, _ = evaluate()
    print('After: ', [round(x, 6) for x in after.detach().tolist()])
    print(f'new_loss={new_loss.item():.6f}')


if __name__ == '__main__':
    main()
