Il a trouvé son lieu d'asile sur les coteaux ensoleillés où les beaux blés font des damiers vert-tendre au printemps, jaune d'or en août, entre les foins, les forêts, les petits vergers, les pâturages. La population est assez nombreuse pour accueillir un homme de plus. Au siècle dernier, Haute-Nendaz, au-dessus de la plaine que le Rhône dévaste et rend insalubre, fait de si riches moissons que les gens de Conthey et de Vétroz montent acheter du blé, au prix parfois d'un carré de vigne. Et la veille de Noël, les mendiants arrivent par centaines pour recevoir du pain, du fromage, et même du jambon.

A la belle saison, Brun aura sa cabane dans les bois. Aux mois rudes, une grange, un raccard. Il ne voulut jamais entrer dans une maison.

Sauf à l'heure de son agonie. Alors, il accepta d'être porté dans une grange. Car, dit-il, «on ne reçoit pas le Bon Dieu dans une écurie».

D'ailleurs, il ne demande rien. Il paraît préférer vivre frugalement, parfois de racines comestibles mangées crues sur le champ. Il s'excusera d'avoir déterré quelques pommes de terre un jour de grande faim.

Il est soigneux de sa personne, autant que faire se peut. Ses belles mains blanches deviennent vite légendaires, jamais engagées dans les travaux de la terre, du bétail ou de la forêt, ce qu'on ne lui demandait d'ailleurs pas.
Il rédige des charmes contre le mauvais sort ou le mal de dent, les voleurs, les maladies des animaux. Il sait les vertus des plantes et les faits connaître, écrit des cantiques, invente des chansons. Surtout, il peint; sur commande ou par reconnaissance de belles images pieuses ou des tableaux de famille; souvent, par préférence, la famille mère de toutes les autres, la Sainte-Famille et ses animaux familiers, au cœur d'une ronde d'étoiles, de fleurs et d'anges. Il signe Charles-Frédéric Brun. Mais il est connu sous le nom choisi par la communauté et qui lui vaut bon accueil, cordialité, protection: le Déserteur.
Il vit au plus simple, et même misérablement. Et sa présence est un don magnifique aux deux vallées de son séjour.
De sa fuite, il n'a rien dit, sauf peut-être en confession, mais rien ne délie ce silence. Fait rare, il s'est dépouillé de son histoire. C'est pourtant ce qu'on aime tant à raconter au voisin de seuil, de table ou de chemin. Son œuvre ne laisse rien deviner d'une mélancolie ou d'une nostalgie. Son cœur y paraît toujours au printemps. En cela déjà, elle est admirable. Elle est partout heureuse. Et partout assurée de dire parfaitement ce qu'on lui demande. Composée avec simplicité et sans hésitation, de manière toujours semblable, dans des couleurs toujours claires, comme les visages qui sont toujours jeunes. On ne devine des difficultés que dans le dessin des mains, fréquemment maladroit. La nature n'est pas copiée, elle est partout présente et comble de ses fleurs et de ses palmes les vides de la composition. Beaucoup plus tard, en 1888, dix-sept ans après sa mort, Victor Tissot, dans sa «Suisse inconnue» raconte que la rebouteuse la «mège» d'Hérémence lui dit, alors qu'il regardait la peinture ornant une armoire: «Joli! Peint par déserteur français, ancien élève en théologie... A fait bêtise, tué son capitaine... est venu ici... Etait menuisier... Est mô...».