AI 学习 · 理论笔记（7.19）

21年之前，小模型–人脸识别，虹膜识别（专业场景，用自己科室数据，做诊断？数据？AI算法？）

21年之后，GPT出现，foundation model，基座模型

纯做医学影像（分割任务），算医工交叉吗？我觉得不算。因为常规的医学影像，现在有很多做计算机的人做。而我们做医学，尽量往分子层面做。

搞工科的那些人，方法学or设计问题的切入点和医学人士不一样。工科是把已有的问题拔高（90-91%，显著提升！！！）。医学在于提出问题，用AI在这样一种场景解决问题（83% vs 86%差不多）。

机器学习，用一些数据，建立预测模型。

1人工智能历史以及多模态数据运用

图灵测试：同时和2个界面聊天，1个人，1个model，但是分不出来，把人骗了。说明model有一定的智能性。

大子刊，不同资历医生，判别AI做的是不是比人更好，是否通过图灵测试，差异在哪里？也不一定好，只要有结果，就是有意义。

机器学习：搞数学的，理论算法。

BP算法：反向传播，通过误差，反向迭代，校正，使得误差越来越小。（我这边自己写过反向传播，让工科人士震惊）。

卷积神经网络+硬件+BP算法=深度学习（2010年）

Transformer处理时序性信息，Bert处理双向信息。

大模型能力（归纳、推理）

2AI医疗多科室场景解释

做多模态，要先做好多个单模态。

先：AI辅助个性化治疗方案的制定与决策，诊断，预后

后：AI助力多组学数据融合和精准诊断

最后：AI赋能疾病本质探索与机制解析—-AI加速新药靶点发现、设计、开发

穿刺的样本，预测免疫治疗（放化疗）敏感性。

更底层一些：病理切片，送个空间转录组测序，看某些特定的细胞特异性分布在某个特定的区域。

当然，现在空间转录组已经做到单细胞分辨率，你可以看到组织某一部位，某个细胞的基因表达。

EHR数据：直接embedding提特征//map成结构化数据。

医学人工智能，实现的三要素：-算力，-大数据（有创，无创，基于组织试验），-算法

算法：我们现在做的多的，其实还是监督学习。

监督学习需要标注（打标签，用机器学习算法，Lasso，XGBoost，Random Forest），无监督学习不需要标注（用深度学习提特征，用了黄仁勋的GPU，比如单细胞，分出不同cluster）。

图像的数据一般用卷积神经网络（CNN），不是很吃GPU，提特征，分类，分割，做预测。

Transformer也可以，但是Transformer吃GPU。如果样本量少，经典CNN效果更好。

EHR模态

组学模态

大语言模型

3AI医疗新玩法—基于生信的可解释性

计算生物学（个人分为两类：AI和生信）。用生信解释（底层模型）挖掘的分子，从遗传的角度解释。

在医学中，artificial intelligence和machine learning没有分的很开。

很多文章，写自己做AI，其实只有一个机器学习（lasso回归）。

我们现在做的AI，主要指的是大模型、深度学习。

如何把现在深度学习这一块东西和生信结合到一块？

4如何规划AI医疗课题

大模型vs医生。

AI预测药物副作用（免疫治疗，预测心脑血管风险），预后预测（存活时间，补牙材料时间）

健康管理（胰岛素管理）

辅助临床诊断，所见即所得（骨科x线诊断）

跨模态预测分类（大模态—病理预测基因，小模态—普通CT预测增强CT），用更简单的数据结合AI，达到以往需要复杂数据才能得到的结论。