*近ChatGPT很火热，ChatGPT涉及自然语言，集“软件、营销、服务和运营”为一体的国家高新技术企业。 公司目前已经为大中小型企业提供了一站式的APP开发服务，集“软件、营销、服务和运营”为一体的国家高新技术企业。 公司目前已经为大中小型企业提供了一站式的APP开发服务，深度学习模型。Toby老师也是从事机器学习模型工作，因此特别关注了一下，顺便分享ChatGPT相关知识。
    开发者OpenAI
    首次发布2022年11月30日，2个月前
    当前版本2023年2月13日，4天前
    类型聊天机器人
    许可协议专有软件

    ChatGPT概述
    ChatGPT（全名：ChatGenerativePre-trainedTransformer）是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。
    ChatGPT目前仍以文字方式交互，而除了可以通过人类自然对话方式进行交互，还可以用于相对复杂的语言工作，包括自动文本生成、自动问答、自动摘要等在内的多种任务。如：在自动文本生成方面，ChatGPT可以根据输入的文本自动生成类似的文本（剧本、歌曲、企划等），在自动问答方面，ChatGPT可以根据输入的问题自动生成。还具有编写和调试计算机程序的能力。在推广期间，所有人可以免费注册，并在登录后免费使用ChatGPT实现与AI机器人对话。

    ChatGPT可以写出相似于真人程度的文章，并因其在许多知识领域给出详细的回答和清晰的而迅速获得关注，证明了从前认为不会被AI取代的知识型工作它也足以胜任，对于金融与白领人力市场的冲击相当大，但其事实准确性参差不齐被认为是一重大缺陷，其基于意识形态的模型训练结果并被认为需要小心地校正。ChatGPT于2022年11月发布后，OpenAI估值已至290亿美元。上线两个月后，用户数量达到1亿。
    Toby老师登录openAI实测，确实网页视觉效果比较好。
    阐述是：ChatGPT是用于对话的优化语言模型。我们训练了一个叫做ChatGPT的模型，它以对话方式进行交互。对话格式使ChatGPT能够回答后续问题、承认错误、质疑不正确的前提和拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型，它被训练为在提示中遵循指令并提供详细的响应。
    OpenAI
    OpenAI（开放人工智能）是美国一个人工智能研究实验室，由营利组织OpenAILP与母公司非营利组织OpenAIInc所组成，目的是促进和发展友好的人工智能，使人类整体受益。OpenAI成立于2015年底，总部位于加利福尼亚州旧金山，组织目标是通过与其他机构和研究者的“自由合作”，向公众开放专利和研究成果。创始人伊隆·马斯克以及山姆·柯曼的动机是出于对强人工智能潜在风险的担忧。至2018年，OpenAI的总部坐落于旧金山的米慎区，与伊隆·马斯克的另一座公司Neuralink在同一办公室大楼。
    下图是OpenAI旧金山总部的先驱大楼。

    2016年，OpenAI宣称将制造“通用”机器人，希望能够预防人工智能的灾难性影响，推动人工智能发挥积极作用。
    2019年3月1日成立OpenAILP子公司，目的为营利所用。
    2019年7月22日微软投资OpenAI10亿美元，双方将携手合作替Azure云端平台服务开发人工智能技术。2020年6月11日宣布了GPT-3语言模型，微软于2020年9月22日取得授权。
    2022年11月30日，OpenAI发布了一个名为ChatGPT的自然语言生成式模型，它以对话方式进行交互。在研究预览期间，用户注册并登陆后可免费使用ChatGPT。但是该项目对一些包括很多地区不可用。
    模型训练
    ChatGPT使用基于人类反馈的监督学习和强化学习在GPT-3.5之上进行了微调。这两种方法都使用了人类训练员来提高模型的性能,通过人类干预以增强机器学习的效果，从而获得更为逼真的结果。在监督学习的情况下，模型被提供了这样一些对话,在对话中训练师充当用户和AI助理两种角色。在强化步骤中，人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”,使用近端策略优化(ProximalPolicyOptimization-PPO)的多次迭代进一步微调,。这种策略优化算法比信任域策略优化（trustregionpolicyoptimization）算法更为。这些模型是与Microsoft合作,在其MicrosoftAzure超级计算基础设施上训练的。
    此外，OpenAI继续从ChatGPT用户那里收集数据，这些数据可用于进一步训练和微调ChatGPT。允许用户对他们从ChatGPT收到的回复投赞成票或反对票；在投赞成票或反对票时，他们还可以填写一个带有额外反馈的文本字段。
    ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识，如BBS和Python编程语言。
    关于ChatGPT编写和调试计算机程序的能力的训练，由于深度学习模型不懂编程，与所有其他基于深度学习的语言模型一样，只是在获取代码片段之间的统计相关性。

    斯坦福大学的研究发现，GPT3已经可以解决70%的心智理论任务，相当于7岁儿童；至于GPT3.5（ChatGPT的同源模型），更是解决了93%的任务，心智相当于9岁儿童。但这并不意味着，ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中，也可以作为“副产品”通过训练得到。因此，相比探究GPT3.5是不是真的有了心智还是像有心智，更需要反思的是这些测试本身。
    对模型训练描述为：
    我们使用与InstructGPT相同的方法，使用来自人类反馈的强化学习(RLHF)来训练该模型，但数据收集设置略有不同。我们使用监督微调训练了一个初始模型：人类AI训练员提供对话，他们在对话中扮演双方——用户和AI助手。我们让培训师可以访问模型编写的建议，以帮助他们撰写回复。我们将这个新的对话数据集与InstructGPT数据集混合，我们将其转换为对话格式。
    为了创建强化学习的奖励模型，我们需要收集比较数据，其中包含两个或多个按质量排序的模型响应。为了收集这些数据，我们收集了AI培训师与聊天机器人的对话。我们随机选择了一条模型编写的消息，抽取了几个备选的完成方式，并让AI培训师对它们进行排名。使用这些奖励模型，我们可以使用近端策略优化来微调模型。我们对这个过程进行了几次迭代。
    ChatGPT是从GPT-3.5系列中的一个模型进行微调的，该模型于2022年初完成训练。您可以在此处了解有关3.5系列的更多信息。ChatGPT和GPT3.5在AzureAI超级计算基础设施上进行了训练。

    特点和局限
    虽然聊天机器人的核心功能是模仿人类对话者，但ChatGPT用途广泛。例如，具有编写和调试计算机程序的能力；创作音乐、电视剧、童话故事和学生论文；回答测试问题（在某些测试情境下，水平高于普通人类测试者）；写诗和歌词；模拟Linux系统等。
    ChatGPT局限性
    ChatGPT有时会写出看似合理但不正确或荒谬的。解决这个问题具有挑战性，因为：
    （1）在RL训练期间，目前没有真实来源；
    (2)训练模型更加谨慎导致它拒绝可以正确回答的问题；
    (3)监督训练会误导模型，因为理想的取决于模型知道什么，而不是人类演示者知道什么。
    ChatGPT对输入措辞的调整或多次尝试相同的提示很敏感。例如，给定一个问题的措辞，模型可以声称不知道，但只要稍作改写，就可以正确回答。

    该模型通常过于冗长并过度使用某些短语，例如重申它是OpenAI训练的语言模型。这些问题源于训练数据的偏差（训练者更喜欢看起来更的更长）和众所周知的过度优化问题。
    理想情况下，当用户提供模棱两可的查询时，模型会提出澄清问题。相反，我们当前的模型通常会猜测用户的意图。
    虽然我们已努力使模型拒绝不当请求，但它有时会响应有害指令或表现出有偏见的行为。我们正在使用ModerationAPI来警告或阻止某些类型的不安全内容，但我们预计它目前会有一些漏报和漏报。我们渴望收集用户反馈，以帮助我们正在进行的改进该系统的工作。