Je kunt deze situatie bijna vergelijken met asbestplaten die nog gewoon op het dak liggen. Ook daar kan wat asbest vanaf komen door verwering. De hoeveelheden zijn echter minimaal. Vergeet niet dat er in de omgeving eigenlijk altijd een lage concentratie aan asbestvezels aanwezig is. Ook in wegbermen etc. komt het voor, vroeger werd asbesthoudend puin gewoon als verharding gebruikt en dat is nog lang niet overal opgeruimd.
Maar goed, als je er zorgen over maakt zou ik het eerst bespreken met de buren. Schakel in ieder geval niet direct de gemeente in, voordat je het weet worden de buren met allerlei maatregelen en kosten opgezadeld en is de verhouding met de buren voor altijd verstoord.