最近，《The Markup》揭露了纽约市儿童服务管理署（ACS）使用的一种人工智能算法工具，该工具用于评估某家庭中儿童可能受到严重伤害的风险。这个算法于2018年首次推出，由该机构的研究分析办公室开发。
据报道，该算法使用279个变量来评分家庭的风险，包括家庭所在的社区、母亲的年龄及其身体和心理健康状况等，这些因素大多与家庭的社会经济地位密切相关。此外，算法依据2013年和2014年中儿童受到严重伤害的案例数据进行分析。
尽管这一工具旨在保护儿童，但一些民权组织和家庭倡导者担心，算法可能会加剧或放大种族歧视对儿童保护调查的影响。Just Making A Change for Families的执行董事Joyce McMillan批评道：“算法对人们进行泛化，仅凭一个社区就认为我们更有可能虐待或忽视儿童？”
这种算法的使用引发了公众对于技术在公共服务中应用的讨论，尤其是在如此敏感的领域。