What do you think?
Rate this book
How to Keep Technology from Slipping Beyond Our Control A Dangerous Master (Hardback) - Common
We live in an age of awesome technological potential. From nanotechnology to synthetic organisms, new technologies stand to revolutionize whole domains of human experience. But with awesome potential comes awesome drones can deliver a bomb as readily as they can a new smartphone; makers and hackers can 3D-print guns as well as tools; and supercomputers can short-circuit Wall Street just as easily as they can manage your portfolio.One thing these technologies can’t do is answer the profound moral issues they raise. Who should be held accountable when they go wrong? What responsibility do we, as creators and users, have for the technologies we build? In A Dangerous Master, ethicist Wendell Wallach tackles such difficult questions with hard-earned authority, imploring both producers and consumers to face the moral ambiguities arising from our rapid technological growth. There is no doubt that scientific research and innovation are a source of promise and productivity, but, as Wallach, argues, technological development is at risk of becoming a juggernaut beyond human control. Examining the players, institutions, and values lobbying against meaningful regulation of everything from autonomous robots to designer drugs, A Dangerous Master proposes solutions for regaining control of our technological destiny.Wallach’s nuanced study offers both stark warnings and hope, navigating both the fears and hype surrounding technological innovations. An engaging, masterful analysis of the elements we must manage in our quest to survive as a species, A Dangerous Master forces us to confront the practical—and moral—purposes of our creations.
Hardcover
First published June 2, 2015
15 people are currently reading
374 people want to read
Ratings & Reviews
Friends & Following
Create a free account to discover what your friends think of this book!
Community Reviews
Displaying 1 - 7 of 7 reviews
October 11, 2016
Wallach shows a tremendous grasp of the threat of technology and how quickly it is slipping beyond our control leading the reader to wonder if we ever have had control in the first place. Author of Moral Machines, Wallach is well versed in the area of technology and a bonafide expert on what our future may look like.
October 11, 2019
《科技失控》一书目前为止突出强调的一些案例研究说明，依赖复杂系统的风险是不可预测的，因此很容易完全失控。发展的绝对速度和新技术的大量涌现意味着有好处和有风险的工具和技术部署远远超过了建立有效监督机制的速度。一个简单的事实是，正在开发的每一个技术既可以是好处和风险并存，这就要求加倍关注，权衡取舍，找到方法来限制危害。
最后两个章节，我们对问题的叙述方式有所变化。对推动我们前进的错误假设提出考验和挑战，可以化解驱动加速发展的不可抗拒力量。本章提供了在发展危险自主机器人过程中可能出现转折点的例子。对致命自主机器人设置禁令将大大放缓甚至停滞其发展进程。对于想象中的武器系统，我们没有必要每一个都去开发。如果将用于制造高风险武器系统的十分之一的精力投入到军备控制协定制定和磋商中，我们生活的世界将更加安全。
通过修订预算和坚守核心价值理念减缓技术发展的步伐，可以扩大识别和判断转折点的机会。有很多精明的批评家停留在学术的藩篱中，为非政府组织（NGO）工作，或是写博客努力引起人们的注意。但是，变化日新月异，媒体对于各种危机也是一掠而过，到底哪些警告值得认真考虑都没有机会进行分析。
化解错误的假设，对转折点采取行动是不够的，还需要更加积极。以下三个章节概述了确保技术不脱离人类控制的一些关键因素：建立负责任的工程设计文化，打造有效灵活的监督机制，培育可以质疑、制衡专家的知情公民等。在一个民主社会，每个人，不只是专家或那些有利可图的人，在人类航向危险的未来过程中都应当发出声音。
道德机器
《道德机器：教机器人明辨是非》一书中，科林·艾伦和我绘制了一个新的调查领域，即机器伦理或机器道德。这一领域了探讨发展能够在选择和行动中考虑到道德因素的计算机和机器人的前景。机器伦理提供了一个更好的范例，如何将价值因素放入技术工程中，以确保他们的行动是安全和适当的。
工程师们已经将价值观和道德行为编入计算机和机器人程序中（以下统称为“机器人”）。工程师提前确定在严格限制的背景下机器人遇到的问题。然后，他们对系统进行编程，以适应各种情况。科林·艾伦和我称这种道德行为为操作性道德。
然而，设计者无法预知日益自主的机器人所面临的各种新选择。在意料之外的紧急关头，机器人将需要应用自己的道德子程序来评估各种行动方案。例如，一个服务机器人可能需要决定是否之前或之后执行一系列任务，如递送药物或新闻报纸给它协助的人后再充电。或许这些任务要排出优先级，优先级根据每天的时间、个人身体健康，或其他因素而有所变化。能够做出伦理决策的机器人是功能性道德，即使它们所执行的任务很少或没有实际理解。最终，机器人可以学会调整自己的行为和价值观与人靠拢，进步到浩如烟海的挑战采用适当的规则和原则。
人类可掌握的节奏
整本书一直在倡导加快技术发展有必要与人类可掌控的速度保持一致。人可掌控的意思是这个速度可供个人、机构、政府和整个人类做出知情决策。保持在一个人的角度管理的步伐加快技术应用的必要性。技术开发过程越审慎和细致，就可能留出更多的机会，解决本书中提出的很多危险。在政府监督方面，
知情审议实际上应该加快实施用以指导研究创新领域的适应性机制。然而，反思的必要性使得在很大程度上将放慢新工具和技术的加速实现。如前所述，对于可能产生深远的，不确定影响的新工具和技术的随意采用是社会失去方向的标志。放慢技术的采用不应出于意识形态的原因，而是作为一种手段确保人们的安全不受不可预知的破坏的影响。一个稳健的步伐使我们能够有效地监控风险，并且在转折点消失之前就已经确认它的存在。
时间和科学的前进不可阻挡，但我们确实有办法调节发展的速度。伦理、法律和公共政策是不完美的工具，但可以巩固我们对于基本价值的承诺。
理论家注意到了高速发展的技术，社会转型速度加快，以及日常生活节奏日益加快之间的反馈回路。他们认为加快速度是现代社会和资本主义的基本
特征。资本主义对于提高生产力和效率的需求是推动加速的主要驱动力。工作和日常生活的节奏加快提高了生产效率，但在当今的经济环境下，它并没有导致生活质量的改善，比如普通公民的工资增长并不多。
此外，速度也实际上破坏了生产力，例如，加速开发以及监管不到位导致发生了破坏性的危机，如英国石油公司在美国新墨西哥湾的漏油事件。污染清理，关闭墨西哥湾地区所有海上钻井，对环境的影响，以及大受挫折的渔业和旅游业等等都是代价高昂的损失。一场破坏性的危机造成的资金上的损失就可以迅速抹去限制对革新性技术实施监管所带来的经济利益。这种经济成本演算还不包括每次事故给人所造成的痛苦和伤害。人类的损失可以很容易超越资本的损失。而且，这个负担往往都会重重地落在穷人身上。然而，只要强大的利益集团仍然认为现状可以满足他们个人或企业的目标，那么这种认为加速发展是对整个人类有利的错觉还是会一直持续下去。
速度过快不仅给经济系统增添负担，也损害了民主制度。越来越多的问题没有解决。盲目地变化速度使一切成为了危机。“紧急状况”成了正常状态。当一个社会永远处于危机状态时，对于一些粗心大意的权宜政策总是会找到理由和合理化的解释。
最后两个章节，我们对问题的叙述方式有所变化。对推动我们前进的错误假设提出考验和挑战，可以化解驱动加速发展的不可抗拒力量。本章提供了在发展危险自主机器人过程中可能出现转折点的例子。对致命自主机器人设置禁令将大大放缓甚至停滞其发展进程。对于想象中的武器系统，我们没有必要每一个都去开发。如果将用于制造高风险武器系统的十分之一的精力投入到军备控制协定制定和磋商中，我们生活的世界将更加安全。
通过修订预算和坚守核心价值理念减缓技术发展的步伐，可以扩大识别和判断转折点的机会。有很多精明的批评家停留在学术的藩篱中，为非政府组织（NGO）工作，或是写博客努力引起人们的注意。但是，变化日新月异，媒体对于各种危机也是一掠而过，到底哪些警告值得认真考虑都没有机会进行分析。
化解错误的假设，对转折点采取行动是不够的，还需要更加积极。以下三个章节概述了确保技术不脱离人类控制的一些关键因素：建立负责任的工程设计文化，打造有效灵活的监督机制，培育可以质疑、制衡专家的知情公民等。在一个民主社会，每个人，不只是专家或那些有利可图的人，在人类航向危险的未来过程中都应当发出声音。
道德机器
《道德机器：教机器人明辨是非》一书中，科林·艾伦和我绘制了一个新的调查领域，即机器伦理或机器道德。这一领域了探讨发展能够在选择和行动中考虑到道德因素的计算机和机器人的前景。机器伦理提供了一个更好的范例，如何将价值因素放入技术工程中，以确保他们的行动是安全和适当的。
工程师们已经将价值观和道德行为编入计算机和机器人程序中（以下统称为“机器人”）。工程师提前确定在严格限制的背景下机器人遇到的问题。然后，他们对系统进行编程，以适应各种情况。科林·艾伦和我称这种道德行为为操作性道德。
然而，设计者无法预知日益自主的机器人所面临的各种新选择。在意料之外的紧急关头，机器人将需要应用自己的道德子程序来评估各种行动方案。例如，一个服务机器人可能需要决定是否之前或之后执行一系列任务，如递送药物或新闻报纸给它协助的人后再充电。或许这些任务要排出优先级，优先级根据每天的时间、个人身体健康，或其他因素而有所变化。能够做出伦理决策的机器人是功能性道德，即使它们所执行的任务很少或没有实际理解。最终，机器人可以学会调整自己的行为和价值观与人靠拢，进步到浩如烟海的挑战采用适当的规则和原则。
人类可掌握的节奏
整本书一直在倡导加快技术发展有必要与人类可掌控的速度保持一致。人可掌控的意思是这个速度可供个人、机构、政府和整个人类做出知情决策。保持在一个人的角度管理的步伐加快技术应用的必要性。技术开发过程越审慎和细致，就可能留出更多的机会，解决本书中提出的很多危险。在政府监督方面，
知情审议实际上应该加快实施用以指导研究创新领域的适应性机制。然而，反思的必要性使得在很大程度上将放慢新工具和技术的加速实现。如前所述，对于可能产生深远的，不确定影响的新工具和技术的随意采用是社会失去方向的标志。放慢技术的采用不应出于意识形态的原因，而是作为一种手段确保人们的安全不受不可预知的破坏的影响。一个稳健的步伐使我们能够有效地监控风险，并且在转折点消失之前就已经确认它的存在。
时间和科学的前进不可阻挡，但我们确实有办法调节发展的速度。伦理、法律和公共政策是不完美的工具，但可以巩固我们对于基本价值的承诺。
理论家注意到了高速发展的技术，社会转型速度加快，以及日常生活节奏日益加快之间的反馈回路。他们认为加快速度是现代社会和资本主义的基本
特征。资本主义对于提高生产力和效率的需求是推动加速的主要驱动力。工作和日常生活的节奏加快提高了生产效率，但在当今的经济环境下，它并没有导致生活质量的改善，比如普通公民的工资增长并不多。
此外，速度也实际上破坏了生产力，例如，加速开发以及监管不到位导致发生了破坏性的危机，如英国石油公司在美国新墨西哥湾的漏油事件。污染清理，关闭墨西哥湾地区所有海上钻井，对环境的影响，以及大受挫折的渔业和旅游业等等都是代价高昂的损失。一场破坏性的危机造成的资金上的损失就可以迅速抹去限制对革新性技术实施监管所带来的经济利益。这种经济成本演算还不包括每次事故给人所造成的痛苦和伤害。人类的损失可以很容易超越资本的损失。而且，这个负担往往都会重重地落在穷人身上。然而，只要强大的利益集团仍然认为现状可以满足他们个人或企业的目标，那么这种认为加速发展是对整个人类有利的错觉还是会一直持续下去。
速度过快不仅给经济系统增添负担，也损害了民主制度。越来越多的问题没有解决。盲目地变化速度使一切成为了危机。“紧急状况”成了正常状态。当一个社会永远处于危机状态时，对于一些粗心大意的权宜政策总是会找到理由和合理化的解释。
Read
March 5, 2021Read for tech ethics and policy spring 2021.
Read
March 17, 2017609.485 W195 2015
February 16, 2016
A decent read, but I couldn't help but feel Wallach has more questions than answers. I was waiting--and hoping--for him to expand in a lot of his ideas, but more fleshed-out, inspiring recommendations just didn't seem to come. This really held the book back because while it was thought-provoking, it was nothing rousing or truly exciting, like other techno-future-humanist books (e.g., Jaron Lanier, to name a leading voice in this area). The far too many grammatical and spelling mistakes (Gulf of New Mexico??, Federal Drug Administration??) detracted quite a bit from the overall experience as well. A decent read, but not a must-read for those with this area of interest.
October 31, 2016
Started a little slow for me (a little to 'golden mean'-ish for me), but picked up considerably as the book progressed. Some interesting perspectives of the rapid development of technology - most of it adopted in society without adequate reflection. The author discusses many technologies from killer robots to AI to driverless cars.
Do these technologies make us more secure, improve our lifestyle, or protect the environment? What are the unintended consequences?
"Driverless cars, service robots, and medical diagnostic programs all illustrate different ways in which smart or increasingly autonomous computer systems can dilute human responsibility and, ultimately, human control."
Do these technologies make us more secure, improve our lifestyle, or protect the environment? What are the unintended consequences?
"Driverless cars, service robots, and medical diagnostic programs all illustrate different ways in which smart or increasingly autonomous computer systems can dilute human responsibility and, ultimately, human control."
non-fiction-to-read
July 21, 2015NTS: not in library. $9.82 on kindle
Displaying 1 - 7 of 7 reviews