Das Ausbrennen klingt für mich nicht unlogisch.
Das Licht der Bäume kam ja erst in die Silmarill indem es von ihnen absorbiert wurde. Also kann man sich die Silmarill wie einen Lichtspeicher vorstellen.
Und wenn diese ständig Licht abgeben, dann verlieren sie dadurch etwas von ihrem Leuchtpotential, bis sie irgendwann das komplette Licht abgegeben haben.
Vermutlich nehmen die Silmarill nicht nur das Licht der Bäume auf, aber da dieses besonders stark war, hatte es auch besonders viel Auswirkung. Sind sie also an der Erdoberfläche, oder an anderen beleuchteten ORten, dann bekommen sie auch kontinuirlich Licht, dass sie absorbieren können. Liegen sie dagegen tausende von Jahren unter der Erde, können sie in dieser Zeit kein neues Licht aufnehmen, geben aber kontinuirlich welches ab, sodass ihre Leuchtkraft schwächer wird. Und das Licht von Sonne, usw reicht vermutlich nur um ihr Licht auf ungefähr dem gleichen Niveau zu halten, aber dieses nicht so stark zu steigern, wie das Licht der Bäume.