Puede ser que hayas tenido muy mala suerte, pero yo creo que puede provocarlo la linterna. Estas baterías precisan de un sistema de protección contra sobredescargas, ya que si se descargan por debajo de los 2,2V, te las cargas para siempre.
Tiene toda la pinta de que sea el circuito de protección del portabaterías. Haz la prueba a dejarla encendida en un cubo con agua en casa (importante el tema del agua para disipar el calor que produce el led), y al de una hora la apagas, le compruebas la tensión de las baterías con un voltímetro, las vuelves a meter, y repite la operación cada 15 minutos. Ahí verás si baja la tensión mas de lo debido.
Si eres un poco manitas y el espacio dentro de la batería lo permite es sencillo sustituir el portabaterías.
Por curiosidad, las baterías que utilizas son marca ULTRAFIRE?