Джеймс Ремар родился 31 декабря 1953 года в Бостоне (штат Массачусетс, США). Не окончив среднюю школу, он бросил учебу и отправился в турне с рок-группой, но позже все-таки вернулся и получил аттестат. Актерскому мастерству Ремар учился у Сэнфорда Мейнсера в театре «New York`s Neighborhood Playhouse». В кино актер дебютировал ролью уличного бродяги в фильме «Во дворе» в 1978 году, и уже во втором своем фильме – «Воины» (фильм, 1979) Уолтера Хилла – привлек к себе внимание небольшой ролью панка Аякса, оказавшегося прикованным к пляжной скамейке женщиной-полицейским. В том же 1979 году Джеймс Ремар в дебютной роли на сцене снискал успех в дуэте с Ричардом Гиром. В последующие два десятилетия актер много снимался; главным образом ему доставались роли громил и злодеев – собирательный образ подобных персонажей ему удался в пародии «Фатальный инстинкт» (1993). За эти годы Джеймс Ремар сыграл бежавшего из тюрьмы убийцу – как считается, одну из самых запомнившихся ролей актера – в боевике У. Хилла «48 часов» (1982), Голландца Шульца в гангстерской ленте Ф. Ф. Копполы Клуб «Коттон» (1984), неандертальца в картине «Племя пещерного медведя» (1986), полицейского в драме «Аптечный ковбой» (1989), бармена Алекса в фильме «Парни на стороне» (1995). К числу режиссеров, с которыми работал актер, можно прибавить еще Гаса Ван Сэнта, Пенни Маршалл, Майкла Чапмена. У Роберта Земекиса в картине «Что скрывает ложь» (2000) Джеймс Ремар снялся вместе с Харрисоном Фордом и Мишель Пфайффер. Удачно актер вписался и в ансамбль популярного сериала «Секс в большом городе», получив в четвертом сезоне роль гостиничного магната Ричарда Райта.
С 2006 года он снимался в сериале «Декстер» в роли приемного отца главного героя. Он так же озвучил «Вилгакс» в Ben 10: Alien Force. Он был приглашенной звездой в сериале «Частная практика» в 2010, играя врача по имени Гибби, который работает с «Врачами без границ».