Claude 接管人类电脑编程：程序员沸腾、OpenAI 反击，智能体大战一触即发

AI 已经开始掌控人类电脑，未来已经到来！Claude 自主控制电脑，涵盖编程与科研，堪称万能 API。同时，OpenAI 正在内部加速开发多智能体 AI，初步成果已经显现。

AI 如今能够像人类那样操作电脑，成为新的前沿科技。就在两天前，Anthropic 的升级版 Claude 3.5 Sonnet 首次实现了自主操控电脑屏幕、移动光标、完成任务，令众人瞩目。

获得测试资格的用户们对这项「超能力」的体验热情高涨，连初创公司的 CEO 们也大加赞赏，AI 智能体已然来临，你可以构建 AI 队伍为你服务。

在 Anthropic 加快智能体发展的同时，OpenAI 似乎也感受到了压力。外媒最新消息显示，OpenAI 正在开发新产品以自动化复杂的软件编程任务。

就在昨天，OpenAI 的研究科学家在 TED 活动中表示，对构建 o1 的信心减弱，正在组建多智能体团队。

这预示着一场新竞争即将展开，AI 不再只是生成对话，而是要执行和操作。

Claude 接管人类电脑，科研求职编码一键通

那些掌握 Claude 使用技巧的开发者们，创作的热情不减。从复杂的编码工作到深入的研究，再到收集零散信息，许多惊人的实例随之而出。

毕竟是自家开发的产品，Anthropic 开发者关系负责人 Alex Albert 展示了一下他的能力。

他用 Claude 和 bash 工具，在线下载了一个随机数据集，接着安装 sklearn，并在该数据集上训练了一个简单的分类器。

最终，他在网页上得到了分类器的结果。

这个过程不到 5 分钟就完成了。

他还分享了使用的提示：

Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don\’t get discouraged!). Come up with some way to visualize the results of your classifier in the browser.

一位开发者已经开始利用 Claude 进行自主科研了。

验证“你是不是人”，Claude 可以代劳。

想让 Claude 控制你的电脑，只需：

pip install open-interpreterinterpreter --os


Claude 操作迅速，如今视频中的嵌入广告，统统交给它处理。
求职申请表填写方面，Claude 同样能够胜任。下方这位开发者已经让 AI 自动申请 Anthropic 的职位。
进化版（左）和旧版（右）Claude 3.5 Sonnet 在「我的世界」中的表现，令人印象深刻。

新版本的 Claude 3.5 Sonnet 将对「多智能体社会」的进步带来怎样的影响？
初创公司 Altera Al 提供了答案，他们的研究显示，新模型最大程度地提升了自主性。我们的 25 个智能体在「我的世界」中合作，20 分钟内收集了超过 40% 的不同物品。

分析工具
顺便提一下，Claude 今天还重磅推出了可以编写和运行代码的「分析工具」，为 1024 个开发者们提供了极大便利。

目前，这一功能已在 Claude 中上线。

假设让 Claude 绘制销售渠道进展的直观图，它能自主分析数据、编写代码，并提供所需的可视化图。
然后，你可以在 Artifacts 中详细查看数据细分项。

AI 智能体竞赛打响，Anthropic 先发制人
虽然 Claude 在计算机使用工具上的表现并不完美，但它代表了 Anthropic 对 AI 的一种新视野：
让 Claude 如同人类一般，理解屏幕内容自主操作现有软件，完成各类复杂的任务。


其背后的工作原理是：Claude 先对屏幕进行截图，识别需要采取的行动，然后执行这些操作，接着再次截图决定下一步的计划。
想象一下，如果智能体能够直接查看屏幕内容而不依赖辅助功能，或者直接分析底层代码的 AI 软件，那么将会带来诸多新机遇。
例如，当你搭建网站时，如果按钮中的文字意外溢出边界，AI 智能体就能直接察觉并修复这一问题，无需逐步查看底层代码。
再比如，当前网站创建者也常常巧妙地隐藏广告的 HTML 代码。
因此，基于 AI 的广告拦截软件很难解释代码，确定哪些内容需要被删除。然而，能够直接查看广告的「计算机使用智能体」就会使这项任务变得简单许多。
当然，这项技术也有缺点，首先是「截图操作」导致的太高成本，其次 AI 往往会假设其操作成功执行。
「当它获取新的截图时，它已经失去了对操作进度的掌控。」
与此同时，隐私问题也备受关注。
此前已有公司禁止员工使用 ChatGPT、GitHub Copilot 等编程工具，担心无意中泄露商业机密或代码。
OpenAI 迎头赶上，加快 AI 新品发布
在竞争对手 Anthropic 连续发布重磅产品的背景下，OpenAI 其实早已开启了新的部署。
几天前，Sam Altman 突然在社交媒体上引发讨论，“下个月是 ChatGPT 的第二个生日，我们应该送它什么生日礼物呢？”

当时，许多网友纷纷写下自己的愿望清单。
就在近日，有传闻称，OpenAI 计划在 12 月发布新一代 AI 模型，代号为 Orion。
据悉，Orion 将利用 o1 合成的数据进行训练，预计在 ChatGPT 两周年之际发布。
但与 GPT-4o 和 o1 的推出不同，Orion 将不通过 ChatGPT 登陆，而是优先向与 OpenAI 紧密合作的公司（如微软）提供访问权限，以便他们构建自己的产品及功能。
然而，网友们的期望没有持续太久，Altman 随即出面澄清：这都是假消息！


在软件开发方面，OpenAI 当前正在研发多种产品和功能：

一部分旨在简化在 Microsoft Visual Studio Code 等主流代码编辑器中使用 OpenAI 的 AI 进行开发的流程；
另一部分则专注于处理更复杂的软件开发任务。


知情人士透露，OpenAI 的这款新产品能够处理原本需要人类耗时数小时甚至数天的软件工程任务，并能够根据客户指令自动编写和执行复杂应用程序的代码。
不过，具体的发布时间尚未确定。
毕竟，代码开发是 OpenAI 大语言模型早期应用场景之一，因为 AI 生成的代码能够快速验证其有效性。
自 2021 年起，微软 GitHub 团队就利用 OpenAI的大模型推出 AI Copilot，帮助程序员提供实时代码建议。
2022 年底，ChatGPT 登场，成为更易用、免费的替代方案，迅速吸引了众多用户。
随后，OpenAI 成功说服数百万程序员订阅“升级版” ChatGPT。
这些用户能够比 GitHub Copilot 更早享受到升级版 LLM，并能通过对话式指令处理各类开发任务。有报道称，这些功能使 OpenAI 的相关订阅产品年收入有望达到约 30 亿美元。
在智能体战略方面，OpenAI 正在内部组建一个多智能体团队，未来可能会将其重点转向智能体领域。

前不久发布的多智能体框架 Swarm，引起了 AI 社区广泛关注。

内部研究助手
消息称，OpenAI 已开发出一款能够提升工作效率的「内部研究助手」，并获得了研究人员的一致好评。
该工具的功能包括为与 AI 模型相关的实验生成代码。
这款内部工具似乎是开发能够自主进行 AI 研究系统的初步探索——这种能力不仅需要编程能力，还需具备提出新实验想法及创造性思维的能力。
OpenAI 领导层已公开表示，这一目标可能在未来几年内实现。
此外，有消息指出，OpenAI 正在考虑开发升级版 Canvas，这是一款可与 Anthropic 的 Artifacts 竞争的工具。
这款工具能够与 ChatGPT 进行互动，同时在新的画布中协作，无论是编程还是创作均可进行互动。

在代码方面，用户可以在 Canvas 中让 AI 一键进行代码审核、修改 bug 等，以帮助理解现有的代码基础与项目类型。
不过，他们仍需将代码手动复制粘贴到聊天机器人中，这一繁琐的操作尚待改进。
OpenAI 希望推出更通用的 AI 智能体，类似于 Anthropic发布的「计算机使用智能体」，能够接管人类电脑处理代码之外的更广泛任务。
目前，OpenAI 已在内部展示了一个 AI 智能体的初步版本，能够使用用户的电脑完成在线订餐等操作。
当面临编程或应用开发的问题时，这个 AI 智能体还能够自动查询网络资源寻找解决方案。现在在 AI 编程领域，OpenAI 处于防守态势，曾经独占的局面正在发生变化。
面对如今回归强势的竞争对手 Anthropic，OpenAI 确实该有所行动了…
参考资料：


https://x.com/JeremyDanielFox/status/1849471327075270707


https://x.com/AnthropicAI/status/1849466471556038752


https://venturebeat.com/ai/anthropics-agentic-computer-use-is-giving-people-superpowers/


https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december


https://www.thariq.io/blog/claudecomputer/