Это же образное выражение, которое значит "мне надо перестать жрать так много", и ничего больше. Почему холодильник? Потому что там хранится еда. Каким еще одним словом можно вот так взять и определить местоположение еды? Шкаф не подходит, в нем может храниться все, что угодно. А вот холодильник - там только еда.
Нет там мыслей о варке бульона, мариновании мяса, разморозке целой курицы или других длительных процессах приготовления еды.
Просто это место с едой.