Avec les « cartes de matière » (earthmaps) (fig. 13), on retrouve cette double polarité : à chacune correspond, en effet, un montage qui réunit une carte imprimée, un croquis et des notes rédigés de la main de l’artiste. The Hypothetical Continent of Lemuria (fig. 14) comporte des observations recopiées par l’artiste sur l’hypothèse forgée au XIX^e siècle à propos de ce continent, un croquis de son emplacement supposé dans l’Océan Indien à la période éocène et un fragment de carte imprimée qui indique l’emplacement sur les rivages de l’île de Sanibel en Floride de la carte de matière éponyme réalisée avec des coquillages collectés sur place. Ce montage propose ainsi une traversée de l’histoire des représentations cartographiques : Smithson y donne à voir, dans une sorte de retour du passé dans le présent, de l’imaginaire dans le réel, les transformations réelles ou fictives qui affectent la représentation des territoires et déplacent les relations de l’inconnu et du connu. Condensant une cartographie évolutive, il trace le contour mobile et changeant de la carte du territoire hypothétique de la Lémurie.
       L’originalité de ces cartes matérialisées tient à ce qu’elles renvoient à des continents mythiques : situées dans des lieux bien réels, ces cartes réalisées avec des coquillages (The Hypothetical Continent in Shells : Lemuria), des galets de calcaire blanc disposés sur le sol rouge du Yucatan (Hypothetical Continent : Limestone Map, Gondwanaland-Ice Cap), des galets (The Hypothetical Continent in Stone : Catheysia) ou des fragments de verre (The Map of Glass (Atlantis)) (figs. 15 et 16) [52] sont exposées aux forces destructrices de la nature et vouées à disparaître. Dans ce chassé-croisé où les cartes imaginaires sont matérialisées tandis que les territoires réels semblent perdre leur réalité, les frontières entre fiction et réalité, nature et artifice semblent se dissoudre.
       A Surd View for an Afternoon, un dessin de 1970 (fig. 17) [53], témoigne aussi de ce brouillage. Saturé de croquis de ses travaux – sculptures, earthworks, Non-sites – et de légendes griffonnés de la main de l’artiste, ce dessin semble obéir à la même « logique autodestructrice » que le schéma illustrant le carton d’invitation de l’exposition de Sol LeWitt dont Smithson propose un commentaire (fig. 18)  : LeWitt « submerge le plan orthogonal de son installation sous une avalanche d’indications d’apparence manuscrite. Le plan disparaît sous le poids oppressant d’une écriture “sépia”. C’est comme si on attrapait des mots dans les yeux » [54]. C’est un effet semblable que produit ce dessin de Smithson : l’entrelacs des croquis et des inscriptions qui envahissent la surface de la feuille gêne la lisibilité de cette carte atypique. Sur fond de papier quadrillé, le relevé des œuvres se présente comme une topographie chaotique qui défie les codes de la représentation cartographique. On cherche en vain un sens aux contiguïtés spatiales et une échelle commune aux différents croquis des œuvres dont les titres remplacent les toponymes. Ce ne sont pas des repères géographiques qui organisent cette « carte » mais des concepts [55] et des références théoriques : Smithson construit un « paysage » mental qui offre des repères pour rendre compte de sa démarche [56].
       Si les travaux figurant sur ce dessin ont tous un rapport avec le processus cartographique, son titre suggère pourtant que l’œuvre de Smithson échappe à la rationalité cartographique et se refuse à une vision structurée ou unifiée [57]. Une tension entre le mouvement centrifuge que forment les cercles concentriques des méridiens autour du point central vide, figurant le terminal aérien – la seule œuvre demeurée à l’état de projet – et le mouvement centripète des lignes de fuite que dessinent les flèches situées à chacune des extrémités de l’axe oblique qui coupe la carte structure le dessin. Symétriquement opposés, « les bas niveaux de perception », degrés inférieurs d’une perception synthétique et indifférenciée qui caractérise la « vision profonde » [58] et « les concepts abstraits », auxquels les travaux de Smithson ne peuvent d’ailleurs jamais être réduits, constituent les deux pôles autour desquels s’articule son œuvre toujours partagée entre la matière et le concept.

       « Ecrire n’a rien à voir avec signifier, mais avec arpenter, cartographier, même des contrées à venir » : selon Deleuze et Guattari, il y a dans le livre « des lignes d’articulation ou de segmentation, des strates, des territorialités ; mais aussi des lignes de fuite, des mouvements de territorialisation et de déstratification » [59]. Les textes de Smithson sont constitués de strates de significations littérales et métaphoriques : « les mots et les roches, dit l’artiste, contiennent un langage qui suit une syntaxe de fentes et de ruptures » [60]. Cartes et textes participent ainsi, dans une relation dialectique qui joue de leurs similitudes et de leurs écarts, à une nouvelle cartographie de l’art. Ils s’échangent leurs fonctions et leurs champs : si les textes fonctionnent parfois comme des images, les cartes sont les signes d’une syntaxe qui reste à déchiffrer. Car « les cartes, dit Smithson, sont choses bien insaisissables. » [61]. Entre visible et lisible, entre duplication et déformation, entre réalité et imaginaire, elles sont des images complexes et équivoques. Configurations éphémères et mouvantes, les cartes sont une représentation appropriée de ces nouvelles terrae incognatae de l’art qui sont des mondes soumis à dislocation. Il y a ainsi une tension entre le système homogène des longitudes, des latitudes, des méridiens et des parallèles proposant un espace clos et quadrillé et l’œuvre de Smithson qui dessine des modes de spatialisation de l’art instables et mobiles et investit davantage des non-lieux que des lieux.
       Si les cartes et les textes indiquent que l’art s’est déplacé vers de nouveaux territoires, qu’il s’est déterritorialisé, on observe qu’aucune reterritorialisation ne succède à ce déplacement : l’art demeure suspendu dans l’entre-deux de la présence et de l’absence, du centre et de la périphérie, de la matière et du signe. Les territoires de l’art représentés par les cartes qui en donnent une restitution abstraite sont des espaces mentaux. A travers ce réseau de cartes et de textes se constituent de véritables « hétérotopies », des lieux que Foucault définit comme « des sortes de contre-emplacements réels, des sortes d’utopies effectivement réalisées (...), des sortes de lieux qui sont hors de tous les lieux, bien que pourtant ils soient localisables » [62].
       En définitive, Smithson ne dresse qu’une impossible cartographie de l’art : comme la carte vierge de La Chasse au Snark, elle laisse carte blanche à ses lecteurs, les invite à un voyage dont le but se dérobe. L’artiste a bien compris le conseil de la divinité aztèque Tezcatlipoca qui fait entendre sa voix dans les fabuleuses contrées du Yucatan : il faut aller à l’aventure et risquer de se perdre, « c’est le seul moyen de faire œuvre d’art » [63].