入门/转行|科研小白入门大语言模型+心理学的180天

小鲍鱼

来自:小鲍鱼
2023-12-25 17:50:02 浙江

×
加入小组后即可参加投票
  • 小鲍鱼

    小鲍鱼 楼主 2023-12-25 19:08:31 新加坡

    12.25

    • 找到之前认识的其他方向的老师和博士在读的朋友,约聊天请教“如何入门新方向”
    • 查看学校psychology专业本科的专业课修业计划,在系统里申请下学期上几门psychology核心课
    • google scholar搜索 "llm psychology",限制since 2023,得到一些paper。因为对这个领域并不了解,我直接按照搜索推荐的顺序从上往下看,先看摘要再决定要不要看正文。

    paper1: Exploring collaboration mechanisms for llm agents: A social psychology view 一个蛮有意思的quantitative的简明实验设计,是我感兴趣的方向。 paper2: Using large language models in psychology 感觉像是如何将llm应用于psychology research行业而不是反过来(一看就是psychology的人写的哈哈哈)。类似于“行业观点”,可以看看,但这部分不是我的重点 paper3:Psy-llm: Scaling up global mental health psychological services with ai-based large language models Pretrained + psych expert qa,不是我想做的方向 paper4: Machine psychology: Investigating emergent capabilities and behavior in large language models using psychological methods 提出machine psychology这个词,review了machine psychology22年底和23年的部分研究,给出不同field的心理学研究,比较值得看。可以看看引用它的文章,另外之后可以考虑用machine psychology或者里面提到的machine behavior作为搜索关键词 下一步:目标是大概了解其他人在做什么样的工作。打算快速翻google scholar里llm + psychology关键词的文章,不太需要精读,只要形成大概概念。

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-26 17:36:12 浙江

    今天确定了未来两周的主要目标:完成research proposal,整理想聊的指导老师名单。 向之前的老师请教了一下如何入门。在读paper方面,他给出一些建议:

    1. 可以通过psychology/cognative science的review开始,了解一下之前在“人”身上研究者有哪些基本假设,关心什么样的问题,做了什么实验。
    2. 主要关注哪些论文:著名实验室/领域内大家觉得厉害的人;感兴趣的关键字搜索出的论文,以及这些论文的共同引用。
    3. 可以考虑找找会议和研讨会的报告来读
    4. 一开始可以根据google scholar来翻,大概阅读20篇左右和自己方向相关的以后开始做整理
    5. 关注在感兴趣的方向上其他人在想什么,以及自己想要提出的问题对其他人的意义

    papers: 5. Automating Psychological Hypothesis Generation with AI: Large Language Models Meet Causal Graph 用llm作为工具生成因果知识图谱并检验。不是我想做的。 6. Language models and psychological sciences Cogntive psychology, problem solving 当故事看挺好的…但是有点太长了 7. Human-like intuitive behavior and reasoning biases emerged in large language models but disappeared in ChatGPT Intuitive behavior in math / semantic illusions,不同时期的模型对比。 8. Enhancing psychological counseling with large language model: A multifaceted decision-support system for non-professionals Llm用于心理干预,和3比较像 9. Probing the psychology of AI models 这是对Using cognitive psychology to understand GPT-3的一篇评论,感觉质量不算太高,和上面几篇相比没有提出什么新鲜的观点。 10. Artificial intelligence in psychology research Diminished diversity-of-thought in a standard large language model 这篇文章比较有意思,探究gpt能否复现人类认知的一些特征,也发现了一些预期外的结论(比如correct answer effect,指在一些问题上gpt的回答有很高的确定性)这个实验的数据处理自动化部分也许可以研究一下,14 studies * 1000 runs。Sample input/output 形式可以参考。Many labs 2 project? 看一下是什么。Pre-registered plan? 看一下Open Science Framework 11. Is There Any Social Principle for LLM-Based Agents? Social science for LLM based agents,这篇里有相对比较具体的领域问题定义,比较值得看

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-27 20:59:13 新加坡

    1. Comparing Machines and Children: Using Developmental Psychology Experiments to Assess the Strengths and Weaknesses of LaMDA Responses

    https://arxiv.org/abs/2305.11243 里面提到RLHF可能直接剪除了一些developmental的可能?不知道paper10如果用的LaMDA会有什么结果。从developmental psychology提出rating机制。用text做的,gpt4之后应该能看到一些multimodal的研究。关心有多像child,像几岁的child(发展水平),哪些方面像 13. Large language models respond to influence like humans 关心问题:how influential input leads to psychological change in LLM?(dynamic aspect) LLM的哪些行为和人一样,哪些不一样?能否将LLM应用于对人类心理学的研究?可以关注一下这里多因素的实验设计,以及如何设计实验给人类参与者。

    Cognitive Machines: A Preliminary Inquiry of Self-Monitoring Abilities & Social Cognition in Machine Learning Models 之前的研究大多在theory of mind? -> self-monitoring social cognition。self monitoring 关心ai有没有自我意识?用来避免被发现是llm的能力越强,self-monitoring越强。从detector的视角来看,llm原始输入和被要求避免被发现以后的输出被detect的差异越大,self-monitoring越强。social cognition方面,让llm推断社会事件的影响并打分。实验很浅,想法比较有趣。我认为self-monitoring应该可以从其他角度来做,而不只是语言学上的“被发现”,eg, 对不同场景的行为调整? The Cultural Psychology of Large Language Models: Is ChatGPT a Holistic or Analytic Thinker? 东西方文化里的认知决策过程有差异,llm更偏向哪种?这篇我只看了摘要 Which humans? 如果gpt是个人的话,从心理和认知的角度上它是个什么样的人/代表了什么样的人?这篇从研究的问题上接近之前很多的用measures判断llm的human traits的研究

    直接用llm+psychology作为关键词翻了三页google scholar,感兴趣的文章逐渐稀疏。感觉再看几页可以按照文章的引用关系看了。

  • 懒羊羊(阿北版

    懒羊羊(阿北版 2023-12-28 02:05:27 湖北

    在这篇帖子下住下了!

  • Iktsuarpok

    Iktsuarpok 2023-12-28 03:36:12 丹麦

    本科心理学硕士nlp 表示实在太感兴趣了

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-28 07:53:59 浙江

    在这篇帖子下住下了! 在这篇帖子下住下了! 懒羊羊(阿北版

    欢迎经常来玩n

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-28 07:58:34 浙江

    本科心理学硕士nlp 表示实在太感兴趣了 本科心理学硕士nlp 表示实在太感兴趣了 Iktsuarpok

    嘿嘿如果你有感兴趣的具体问题也可以私信聊聊!我目前有几个好奇的idea, “过去成功collaboration/其他 agent过去的表现对agent合作 performance的影响”,“对llm进行情绪激发然后观察表现”,“self control/自我意识的多模态实验”,“agents间friendship的建立”。不过目前都还是很粗略的想法,也没有做特定方向的调研

  • 爱捣腾的Sophie

    爱捣腾的Sophie 2023-12-28 09:15:05 广东

    楼主打算在哪里直播,蹭个课

  • 已关机

    已关机 2023-12-28 10:25:32 广东

    我是心理人,打算做大模型,在这个帖子住下了

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-28 10:33:21 新加坡

    楼主打算在哪里直播,蹭个课 楼主打算在哪里直播,蹭个课 爱捣腾的Sophie

    就在这里文字直播啦!不开课不卖科研放心追更

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-28 10:49:10 新加坡

    我是心理人,打算做大模型,在这个帖子住下了 我是心理人,打算做大模型,在这个帖子住下了 已关机

    欢迎来玩!也粗浅地描述一下我现在对psychology + llm的印象:

    1. psychology+llm的结合我主要看到两个方向,一个是用psychology的方法去探究llm,关心“如何用心理学更好地了解和使用gpt”(也是我现在想做的),另一个是将llm运用于心理学,关心“我们能用gpt为心理学做什么"(比如在gpt的基础上开发一个gpt for psychology)。
    2. 如果科研做着玩肯定没问题,但如果用来读博的话,可能要考虑下面几个点:
    1. 这个方向太新。差不多去年年底才开始兴起,到现在也就一年多。新方向肯定有很多事情可以做,但也意味着找指导难,入门难,我不太推荐之前没有科研经历的人直接从这里入手,科研入门最好有人带,有人给方向难度低很多。
    2. 难搞钱难落地,需要找到其他能用来谋生的东西。两个方向里,用psychology的方法去探究llm这个我暂时没看到什么工业界的应用,将llm运用于心理学也离落地很远。冲着搞科研可以考虑,想要去业界赚钱我感觉还是算了。我自己是将找SDE作为主线,最近有空才顺便搞科研。

    3)如果有导师的话, 要考虑老师的培养计划和实验室的方向。我暂时是自己做着玩,没有实验室没有导师(之后会找),所以才能随便发进展和想法

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-28 16:08:55 中国台湾

    1. Exploring the psychology of GPT-4's Moral and Legal Reasoning

    evaluate alignment with humans,挑选了一些领域内代表性实验,比较gpt和人的反应异同点。这是一篇结论上好玩的文章。

    1. An Appraisal-Based Chain-Of-Emotion Architecture for Affective Language Model Game Agents

    如何让llm有感情?llm可以识别情绪,所以它可能也有影响情绪的功能(比如通过赞许)。首先判断llm对情感的识别能力:no memory, with memory, appraisal based(有一点“chain of thought"的感觉,不过这里用的是chain of emotion。分别通过评分,模拟游戏,用户来判断

    1. Dynamic LLM-Agent Network: An LLM-agent Collaboration Framework with Agent Team Optimization

    如何通过llm的合作提高它们的能力?如何设计一个系统的,不限agent数目的自动化系统?propogation -> aggregation -> selection 将每个llm的一次执行视为一个节点的网络结构设计,相对之前的方式效果更好,效率更高。

    1. The socialai school: Insights from developmental psychology towards artificial socio-cultural agents

    像是个提出问题的paper。social interactive, learn culture and participate in social evolution。本文中研究entering culture,developmental psychology里的内容作为signpost。social cognition + communication + cultural learning。可以看看developmental robotics field, disembodied social interaction learning,interactive agents。另外提供了一个工具,可以用于创建可交互社会场景。这个工作值得看一下。

  • 已关机

    已关机 2023-12-29 11:33:49 广东

    欢迎来玩!也粗浅地描述一下我现在对psychology + llm的印象: 1. psychology+llm的结合我主要看 欢迎来玩!也粗浅地描述一下我现在对psychology + llm的印象: 1. psychology+llm的结合我主要看到两个方向,一个是用psychology的方法去探究llm,关心“如何用心理学更好地了解和使用gpt”(也是我现在想做的),另一个是将llm运用于心理学,关心“我们能用gpt为心理学做什么"(比如在gpt的基础上开发一个gpt for psychology)。 2. 如果科研做着玩肯定没问题,但如果用来读博的话,可能要考虑下面几个点: 1) 这个方向太新。差不多去年年底才开始兴起,到现在也就一年多。新方向肯定有很多事情可以做,但也意味着找指导难,入门难,我不太推荐之前没有科研经历的人直接从这里入手,科研入门最好有人带,有人给方向难度低很多。 2) 难搞钱难落地,需要找到其他能用来谋生的东西。两个方向里,用psychology的方法去探究llm这个我暂时没看到什么工业界的应用,将llm运用于心理学也离落地很远。冲着搞科研可以考虑,想要去业界赚钱我感觉还是算了。我自己是将找SDE作为主线,最近有空才顺便搞科研。 3)如果有导师的话, 要考虑老师的培养计划和实验室的方向。我暂时是自己做着玩,没有实验室没有导师(之后会找),所以才能随便发进展和想法 ... 小鲍鱼

    我是做心理语言学的,目前主要关注polyu李平教授的实验室,落脚点侧重心理学,比如大语言模型是否需要感官基础来达到meaning和understanding,这部分跟具身认知有关。我的想法是训练模型以能够理解隐喻

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-29 13:00:35 中国香港

    我是做心理语言学的,目前主要关注polyu李平教授的实验室,落脚点侧重心理学,比如大语言模型是 我是做心理语言学的,目前主要关注polyu李平教授的实验室,落脚点侧重心理学,比如大语言模型是否需要感官基础来达到meaning和understanding,这部分跟具身认知有关。我的想法是训练模型以能够理解隐喻 ... 已关机

    谢谢你!我也会去看一下ta的文章的

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-29 13:03:51 中国香港

    昨晚有豆友推荐了Eric Schulz,贴个google scholar 链接,之后也会去看一下。 https://scholar.google.com/citations?hl=en&user=74Cj5GYAAAAJ&view_op=list_works&sortby=pubdate

    今天顺着1的被引关系去翻了下面这些文章: 21. Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration multi-agent coorporation, 模拟peer review过程。idea和19的思路有点像,发布时间也很类似,但从效果和创新性上19都更好。 22. Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives agent-based modeling and simulation 方向的review,挺新的。social domain主要和social interaction和economics有关,这些也可以用于作为搜索关键词。这一篇的内容对我挺有启发的,打算看看它引用的一些文献。想去找找和competitive collaboration有关的,heterogeneity对合作的影响,以及和家庭有关的模拟。这篇个人挺推荐的。下一步打算看这一篇引用的我感兴趣的工作

  • Salt

    Salt 2023-12-29 17:23:44 北京

    马住 友友加油⛽

  • 艾格蒙序曲

    艾格蒙序曲 2023-12-29 17:29:19 重庆

    我研一的方向跟你差不多姐妹(当时还没有GPT),不过由于和导师方向确实没相关,为了顺利毕业还是选了其他课题。

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-30 22:35:34 浙江

    (周末看的论文很少) 在对着22里列出的代表性文献翻,以及和朋友约了明天的讨论。 23. Exploring large language models for communication games: An empirical study on werewolf 用llm玩狼人杀,按照stage拆分建模可以学习一下,ablation study buff可以学习一下。chatarna连接多个gpt的部分可以看看。strategic behavior的学习挺有意思的

  • 菇

    2023-12-31 01:07:49 广东

    我是做心理语言学的,目前主要关注polyu李平教授的实验室,落脚点侧重心理学,比如大语言模型是 我是做心理语言学的,目前主要关注polyu李平教授的实验室,落脚点侧重心理学,比如大语言模型是否需要感官基础来达到meaning和understanding,这部分跟具身认知有关。我的想法是训练模型以能够理解隐喻 ... 已关机

    会不会是师姐!!!

  • Jenny974974

    Jenny974974 2023-12-31 14:46:59 广东

    本科cs mark一下

  • 小鲍鱼

    小鲍鱼 楼主 2023-12-31 22:04:33 浙江

    提前祝大家新年快乐啦! 做一点自己想做的探索有时候是奢侈的,但如果想,总有一天可以在路上

  • 小鲍鱼

    小鲍鱼 楼主 2024-01-01 19:18:31 中国香港

    1. An evolutionary model of personality traits related to cooperative behavior using a large language model

    这篇是从社会群体进化做的,考虑博弈关系下社会群体的合作行为,用gpt将基因和行为关联起来,观察进化过程中的方向和规律。

    1. Welfare Diplomacy: Benchmarking Language Model Cooperation

    创建一个新的非零和,非纯合作的游戏,作为AI coorperative benchmark。

    1. Large Language Models Understand and Can be Enhanced by Emotional Stimuli

    emotion prompt可以改进llm的表现。更近的一篇也有关于emotion attack, emotion encode的研究。也许可以看看emotion和coorperation有没有什么能做的?

    1. Sotopia: Interactive evaluation for social intelligence in language agents

    一个角色扮演和交互的平台,研究多任务,多角色目标导向的社会表现,作为评估方式。这也是个比较有意思的工作,另一篇Humanoid Agents不带评估,是模拟类的

    之后打算先看一部分心理学的综述

  • 冬天遛弯儿

    冬天遛弯儿 2024-01-02 17:25:48 北京

    借楼问有没有startup在做llm+心理咨询啊,真的很需要!

  • 小鲍鱼

    小鲍鱼 楼主 2024-01-02 18:13:52 美国

    借楼问有没有startup在做llm+心理咨询啊,真的很需要! 借楼问有没有startup在做llm+心理咨询啊,真的很需要! 冬天遛弯儿

    我看到有个LLM farm的在做大模型,里面有心理咨询相关的,也许可以看看。我浏览的论文里,国内清华有两个实验室有在做,一个是future intelligence(yong li),还有一个是智能产业研究院。MSRA有个学者有比较多相关工作的(搜emotion llm应该能搜到他的论文)。北师大也有参与一些工作。也许也可以从老师入手去找startup

  • 小鲍鱼

    小鲍鱼 楼主 2024-01-02 18:17:36 美国

    借楼问有没有startup在做llm+心理咨询啊,真的很需要! 借楼问有没有startup在做llm+心理咨询啊,真的很需要! 冬天遛弯儿

    我搜了一下,github有个项目叫MindChat是中文的。还有个EmoGPT是和华师搞的。

  • 小鲍鱼

    小鲍鱼 楼主 2024-01-02 21:21:40 中国台湾

    申请了一下MSRA的social computing组,不知道有没有机会去找一找advisor。 我自己在这方面的入门是社会心理学精品译丛这一套书,是中文的,质量比较高。现在想找一些英文材料,先大致了解一下有哪些方面可以探索,挑出一些感兴趣的话题。 原本计划是从"social psychology"入手看google scholar上的review的,但是可能是因为这个概念有点太广了,并没有发现合适的材料。 然后搜索了recommendation books for psychology undergraduates,发现了很多书单。但是在我的角度不太能区分哪些是通俗读物,哪些是相对学术的教科书。 gpt推荐了"Social Psychology" by David Myers。我浏览了一下它的目录,目前打算一边过一下这本书,一边找到学校psychology系开的每门课的教科书,看看它们的目录。

  • momo

    momo 2024-01-02 21:40:45 加拿大

    很有意思,赞一个。

  • .

    . 2024-01-03 00:36:20 广东

    谢谢楼主的总结!本科打算double major cs+psy 住下来了

  • 冬天遛弯儿

    冬天遛弯儿 2024-01-03 09:18:17 北京

    我看到有个LLM farm的在做大模型,里面有心理咨询相关的,也许可以看看。我浏览的论文里,国内清 我看到有个LLM farm的在做大模型,里面有心理咨询相关的,也许可以看看。我浏览的论文里,国内清华有两个实验室有在做,一个是future intelligence(yong li),还有一个是智能产业研究院。MSRA有个学者有比较多相关工作的(搜emotion llm应该能搜到他的论文)。北师大也有参与一些工作。也许也可以从老师入手去找startup ... 小鲍鱼

    感谢!我去看看

  • 喜嘻

    喜嘻 2024-01-07 00:52:35 上海

    本科心理学硕士nlp 表示实在太感兴趣了 本科心理学硕士nlp 表示实在太感兴趣了 Iktsuarpok

    友友是在欧陆读硕吗

  • Canace07

    Canace07 2024-01-07 11:53:59 上海

    17. Exploring the psychology of GPT-4's Moral and Legal Reasoning evaluate alignment with 17. Exploring the psychology of GPT-4's Moral and Legal Reasoning evaluate alignment with humans,挑选了一些领域内代表性实验,比较gpt和人的反应异同点。这是一篇结论上好玩的文章。 18. An Appraisal-Based Chain-Of-Emotion Architecture for Affective Language Model Game Agents 如何让llm有感情?llm可以识别情绪,所以它可能也有影响情绪的功能(比如通过赞许)。首先判断llm对情感的识别能力:no memory, with memory, appraisal based(有一点“chain of thought"的感觉,不过这里用的是chain of emotion。分别通过评分,模拟游戏,用户来判断 19. Dynamic LLM-Agent Network: An LLM-agent Collaboration Framework with Agent Team Optimization 如何通过llm的合作提高它们的能力?如何设计一个系统的,不限agent数目的自动化系统?propogation -> aggregation -> selection 将每个llm的一次执行视为一个节点的网络结构设计,相对之前的方式效果更好,效率更高。 20. The socialai school: Insights from developmental psychology towards artificial socio-cultural agents 像是个提出问题的paper。social interactive, learn culture and participate in social evolution。本文中研究entering culture,developmental psychology里的内容作为signpost。social cognition + communication + cultural learning。可以看看developmental robotics field, disembodied social interaction learning,interactive agents。另外提供了一个工具,可以用于创建可交互社会场景。这个工作值得看一下。 ... 小鲍鱼

    19和20的ideas很给人启发,这边compl+psycho毕业,现在在做llm的PM,帖子跟了~

  • 喜嘻

    喜嘻 2024-01-07 22:29:45 上海

    借楼问有没有startup在做llm+心理咨询啊,真的很需要! 借楼问有没有startup在做llm+心理咨询啊,真的很需要! 冬天遛弯儿

    是想进的梦中情司啦!

  • 喜嘻

    喜嘻 2024-01-07 22:30:10 上海

    住下了住下了!

  • 冬天遛弯儿

    冬天遛弯儿 2024-01-08 17:54:05 北京

    是想进的梦中情司啦! 是想进的梦中情司啦! 喜嘻

    啊,请问叫啥

  • 木一

    木一 2024-03-12 14:09:19 上海

    哇感谢分享!本硕心理学对这个方向也很感兴趣!

  • 海鲜过敏

    海鲜过敏 2024-04-25 15:11:07 加拿大

    12.25 - 找到之前认识的其他方向的老师和博士在读的朋友,约聊天请教“如何入门新方向” - 查看 12.25 - 找到之前认识的其他方向的老师和博士在读的朋友,约聊天请教“如何入门新方向” - 查看学校psychology专业本科的专业课修业计划,在系统里申请下学期上几门psychology核心课 - google scholar搜索 "llm psychology",限制since 2023,得到一些paper。因为对这个领域并不了解,我直接按照搜索推荐的顺序从上往下看,先看摘要再决定要不要看正文。 paper1: Exploring collaboration mechanisms for llm agents: A social psychology view 一个蛮有意思的quantitative的简明实验设计,是我感兴趣的方向。 paper2: Using large language models in psychology 感觉像是如何将llm应用于psychology research行业而不是反过来(一看就是psychology的人写的哈哈哈)。类似于“行业观点”,可以看看,但这部分不是我的重点 paper3:Psy-llm: Scaling up global mental health psychological services with ai-based large language models Pretrained + psych expert qa,不是我想做的方向 paper4: Machine psychology: Investigating emergent capabilities and behavior in large language models using psychological methods 提出machine psychology这个词,review了machine psychology22年底和23年的部分研究,给出不同field的心理学研究,比较值得看。可以看看引用它的文章,另外之后可以考虑用machine psychology或者里面提到的machine behavior作为搜索关键词 下一步:目标是大概了解其他人在做什么样的工作。打算快速翻google scholar里llm + psychology关键词的文章,不太需要精读,只要形成大概概念。 ... 小鲍鱼

    住下了 感谢

  • 藤井树

    藤井树 2024-04-25 17:37:33 江苏

    现在已经有好几个公司在做了 上次和我本科同学还聊过相关的

  • 已关机

    已关机 2024-08-04 11:08:42 广东

    现在已经有好几个公司在做了 上次和我本科同学还聊过相关的 现在已经有好几个公司在做了 上次和我本科同学还聊过相关的 藤井树

    你好,请问目前业内主要做哪些业务啊,想要转行🥺

  • 豆友185613574

    豆友185613574 2024-08-04 17:28:04 上海

    你好,请问目前业内主要做哪些业务啊,想要转行🥺 你好,请问目前业内主要做哪些业务啊,想要转行🥺 已关机

    +1

  • 争渡

    争渡 2025-03-01 21:05:09 广东

    楼主行动力好强!

  • Momo

    Momo 2025-03-02 19:01:07 上海

    dd

你的回复

回复请先 , 或 注册

↑回顶部