Нашкодити може тільки його коренева система, густа крона і тінь, що створюється їй. Що стосується будівель, то садити волоський горіх ближче 8-10 метрів не варто, тому що його коріння може завдати шкоди фундаменту. Тінь може стати причиною вогкості, що згубно впливає на термін служби деяких будівельних матеріалів.
