Modern GPUs equipped with mixed precision tensor core units present great potential to accelerate dense linear algebra operations such as LU factorization. However, previous works have focused solely ...on improving speed, neglecting memory consumption. Indeed, state-of-the-art mixed half/single precision LU factorization algorithms all require the matrix to be stored in single precision. This is explained by the fact that simply switching the storage precision from single to half leads to significant loss of accuracy, forfeiting all accuracy benefits from using tensor core technology. In this article, we propose a new factorization algorithm that is able to store the matrix in half precision without incurring any significant loss of accuracy. Our approach is based on a left-looking scheme employing single precision buffers of controlled size and a mixed precision doubly partitioned algorithm exploiting tensor cores in the panel factorizations. Our numerical results show that compared with the state of the art, the proposed approach is of similar accuracy, up to twice faster, and with only half the data movement and memory footprint.
Modern GPUs equipped with mixed precision tensor core units present great potential to accelerate dense linear algebra operations such as LU factorization. However, state-of-the-art mixed half/single ...precision LU factorization algorithms all require the matrix to be stored in single precision, leading to expensive data movement and storage costs. This is explained by the fact that simply switching the storage precision from single to half leads to significant loss of accuracy, forfeiting all accuracy benefits from using tensor core technology. In this article, we propose a new factorization algorithm that is able to store the matrix in half precision without incurring any significant loss of accuracy. Our approach is based on a left-looking scheme employing single precision buffers of controlled size and a mixed precision doubly partitioned algorithm exploiting tensor cores in the panel factorizations. Our numerical results show that compared with the state of the art, the proposed approach is of similar accuracy but with only half the data movement and memory footprint, and hence potentially much faster: it achieves up to 2× and 3.5× speedups on V100 and A100 GPUs, respectively.
Un éclair dans la nuit du monde Trocquenet-Lopez, Florent
La Revue du MAUSS semestrielle,
5/2021, Letnik:
57, Številka:
1
Journal Article
Recenzirano
Laissons place à l’imaginaire et au conte. La Catastrophe a eu lieu, celle qu’on ne cesse d’annoncer, mais que le génie humain peut encore arrêter. Une tribu de petits singes trouve refuge dans un ...laboratoire désaffecté. Celui-ci recèle un piège, dont un membre de la tribu fera la cruelle expérience. Mais les petits-singes apprendront, grâce au plus jeune d’entre eux, que le pire des pièges est celui que l’on construit soi-même dans son esprit, à partir des revers que ne manque pas de nous infliger le réel. Du réel , on ne saisit jamais que la représentation que l’on s’en fait et que nous appelons réalité . Cette fable n’aurait-elle pas à nous apprendre comment sortir des impasses politiques dans lesquelles nous nous croyons tous enfermés ?
Laissons place à l'imaginaire et au conte. La Catastrophe a eu lieu, celle qu'on ne cesse d'annoncer, mais que le génie humain peut encore arrêter. Une tribu de petits singes trouve refuge dans un ...laboratoire désaffecté. Celui-ci recèle un piège, dont un membre de la tribu fera la cruelle expérience. Mais les petits-singes apprendront, grâce au plus jeune d'entre eux, que le pire des pièges est celui que l'on construit soi-même dans son esprit, à partir des revers que ne manque pas de nous infliger le réel. Du réel, on ne saisit jamais que la représentation que l'on s'en fait et que nous appelons réalité. Cette fable n'aurait-elle pas à nous apprendre comment sortir des impasses politiques dans lesquelles nous nous croyons tous enfermés ?
La crise sanitaire que traverse en ce moment la France, comme le reste du monde, pose de manière radicale la question de ce que doit être l’exercice du pouvoir en démocratie. Le président de la ...République a choisi, depuis le début de la pandémie du Covid-19, une gestion de la crise censée en conjurer les incertitudes par une mobilisation du pays singeant une mobilisation générale en temps de guerre, alors qu’une crise ne doit pas être un danger pour la démocratie mais une occasion unique de se réinventer. La démocratie est, en effet, le régime de l’incertitude et de la crise permanente, maîtrisée, agie dans et par la liberté politique.
L’impuissance politique à laquelle sont réduits les citoyens des démocraties occidentales résulte fondamentalement d’une conception de la citoyenneté limitée à l’ exercice du pouvoir . Or cette ...conception constitue un piège, parce qu’elle conduit nécessairement à considérer la majorité des citoyens comme incapables de pratiquer leurs droits politiques, et elle rend vaines toutes les tentatives de mobilisations ou de luttes contre les politiques néolibérales en cours, aussi impopulaires qu’elles soient. Concevoir, à l’inverse, la citoyenneté comme puissance , c’est-à-dire comme déploiement et développement, dans l’action, de capacités politiques, permet de comprendre l’importance de mouvements émancipateurs comme le mouvement #MeeToo ou les mobilisations citoyennes associatives dans la crise pandémique actuelle. Pourtant, il ne faudrait pas opposer pouvoir et puissance dans le processus de la démocratie : toute institution sociale ou politique suppose une distribution du pouvoir , dès lors qu’une multitude s’organise. L’action politique ne peut donc ignorer la question d’une réforme de nos institutions républicaines, faute de quoi elle sera aussi impuissante que les mouvements protestataires traditionnels. Entre pouvoir et puissance se déploie le domaine de l’imaginaire qui inspire toute institution politique. Les principes du convivialisme peuvent être à cette fin une source d’inspiration féconde pour prolonger les pistes offertes par différentes expériences actuelles de démocratisation de nos institutions et rendre nos esprits libres pour libérer nos vies et nous rendre créatifs sur le plan politique.
To face the advent of multicore processors and the ever increasing complexity of hardware architectures, programming models based on DAG parallelism regained popularity in the high performance, ...scientific computing community. Modern runtime systems offer a programming interface that complies with this paradigm and powerful engines for scheduling the tasks into which the application is decomposed. These tools have already proved their effectiveness on a number of dense linear algebra applications. This article evaluates the usability and effectiveness of runtime systems based on the Sequential Task Flow model for complex applications, namely, sparse matrix multifrontal factorizations that feature extremely irregular workloads, with tasks of different granularities and characteristics and with a variable memory consumption. Most importantly, it shows how this parallel programming model eases the development of complex features that benefit the performance of sparse, direct solvers as well as their memory consumption. We illustrate our discussion with the multifrontal QR factorization running on top of the StarPU runtime system.
À quelles conditions l’humour, considéré ici comme un pharmakon au sens platonicien, peut-il être un remède aux pathologies du corps social, et non un poison qui les aggrave ? De l’humour coercitif ...des émissions de divertissement à l’humour philosophique, on pénétrera ici dans ces territoires moraux et équivoques de l’humour, où Bergson disait ne pas vouloir s’aventurer. C’est en considérant le contexte et les différentes composantes de la situation d’énonciation humoristique que l’on peut esquisser les lignes d’une éthique de l’humour qui fasse de celui-ci, non pas une arme de discrimination massive, mais au contraire une pratique inclusive et participative, autrement dit dialectique . En dernier ressort, l’humour jette sur l’humanité de l’homme un regard à la fois empathique et antipathique, profondément instable, d’où la nécessité d’en définir une posologie subtile qui ne tombe pas dans le piège abscons d’un humour consensuel. Finalement, l’humour révèle ce mentirvrai de l’hypocrisie, mal nécessaire à la cohésion sociale, et dénoue les liens factices de l’ « esprit de sérieux » au sens sartrien.
PDF
