Né à Friedeberg, il fait des études de Droit à Munich et en Suisse, avant de se rendre en Italie, et notamment à Florence, où il se consacre à l’histoire de l’art, écrit ses premiers romans et essais esthétiques. Il tente de concilier en lui l’unité de « la verticale gréco-allemande de la mélancolie et l'horizontale romane de la satisfaction ».

Il s’installe à Paris en 1904, où « la beauté était omniprésente »; il y est accueilli par Erich Klossowski, rencontre Ambroise Vollard, Kahnweiler, les Stein, etc. Il commence à acheter des oeuvres de Pablo Picasso et de Georges Braque, encore inconnus, pour sa galerie à Montparnasse. Il contribue à faire également connaître la peinture naïve, et en particulier les oeuvres de Henri Rousseau. Il se marie avec Sonia Terk, qui le quitte pour Robert Delaunay.

À partir de 1908, il expose les oeuvres des impressionnistes et des cubistes. En 1914, sa magnifique collection est confisquée par l'État français, puis vendue. Il se réjouira pourtant, jusqu'à la fin de sa vie, à la seule lecture du catalogue de cette vente !

Dans l'Allemagne de Weimar, il lutte pour le Pacifisme, s'engage dans certains mouvements de jeunesse. Mais son pays, de nouveau, lui devient invivable, et il retourne en France en 1924. Cette fois, il se met à collectionner ceux qu'il appellera les « nouveaux primitifs ». Malheureusement, la France, en ces années noires, n'est guère hospitalière : n'obtenant pas la nationalité française, il demeure apatride. Il publie « Picasso et la tradition française » en 1928, où il développe l’idée que la « mentalité gothique » serait née à la confluence de l’esprit germanique des Francs et celui des Gallo-romains ; Picasso répondrait au gothique, et Braque, davantage au roman.

D’origine juive, il devient pendant la Seconde Guerre mondiale la victime prévisible des nazis, auxquels il parvient pourtant à échapper (Jean Cassou le protège quelques mois).

Il meurt à Paris en 1947.