Как сказать "Я помнил тебя"? В том смысле что я помнил тебя, но сейчас не помню. Как бы это нелогично не выглядело.
Вы правы, это нелогично, но по смыслу ближайшим будет I used to remember you.
