Родился в семье фельдшера. С детства увлекался живописью, семья не одобряла увлечения. Образование получил в частном пансионе и в петербургской Введенческой гимназии. До поступления в 1866 году в Рисовальную школу при Обществе поощрения художеств успел поработать губернским секретарем в канцелярии Министерства юстиции, а также в Департаменте государственных имуществ.

В возрасте 22 лет ушел с госслужбы и решил посвятить жизнь искусству. Вместо положенных четырех лет обучения, Волков окончил Рисовальную школу экстерном. Сразу после этого в 1867 году стал вольнослушателем Императорской Академии художеств. По завершении курса, в 1870 году был удостоен звания неклассного (свободного) художника. В 1872 году пришло творческое признание: пейзаж «Болото осенью» получил на Лондонской Всемирной выставке бронзовую медаль. С этой поры призы и похвалы были частыми. В 1878 году художник стал постоянным участником проектов Товарищества передвижных художественных выставок, а в 1879 году — членом объединения. Сразу после этого вместе с Иваном Шишкиным и Андреем Шильдером совершил путешествие по Крыму.

С 1894 года Ефим Волков стал членом Совета Товарищества передвижных художественных выставок, а год спустя получил звание действительного члена Императорской Академии художеств. В 1899 году Волков удостоен статуса академика живописи «за известность на художественном поприще». Помимо живописи, Волков занимался книжной иллюстрацией. В 1918 году в Петербурге состоялась персональная выставка мастера.