안녕하세요. 영어관련 질문이 있어들어왔습니다.

영어 문법을 다시 한번 훑어보고싶어 책을 찾다가, 해커스 TOELF Writing Basic(2nd)이 집에 있어 책을 읽다가 궁금한 부분이 있어 글 올립니다.

2. 다음의 경우에는 that만을 관계대명사로 사용해야 한다.
1) [the only / the very / the same / the 서수 / the 최상급 + 명사]를 수식할 때
그는 내가 이야기하고 싶은 유일한 사람이다.
He is the only one that I feel like talking to.


<질문> 이 설명대로라면, that은 다른것과 바꾸어 쓸 수 없다라고 되어있는데 저는 He is the only one who I feel like talking to. 라고 that 대신 who(whom)를 사용했었습니다. 그럼 제가 잘못 사용하고 있던걸까요? 구어체에 대해서는 용인해주는 그런 문법 예외사항인걸까요?

(The very / the same / the 서수 같은 표현들은 that이 자연스럽게 따라오는게 익숙한데, 유독 The only는 which 나 who 같은 표현으로도 자연스러워보이네요.)