当你的macOS桌面上出现一只真实的3D果蝇:用真实神经连接图驱动的虚拟生命体验
在科技与艺术的交汇处,总有一些奇妙的创意让人叹为观止。近日,GitHub上一个名为《DesktopFly》的开源项目引起了广泛关注 - - 它在macOS桌面上呈现了一只逼真的3D果蝇,这只果蝇不仅外观精致,更重要的是,它的大脑由真实的FlyWire神经连接图驱动,能够实时模拟果蝇的神经活动,并做出与真实生物高度相似的行为反应。这只果蝇不仅仅是一个装饰品,它是活生生的虚拟生命体,与你的桌面环境互动,仿佛真实存在一般。想象一下,当你专注于工作时,桌面上突然出现一只小小的果蝇,它在你的窗口间悠闲漫步,偶尔停下来梳理触角,或者突然惊慌失措地飞走 - - 这不是动画,也不是游戏,而是由真实神经科学数据驱动的虚拟生物。这只果蝇的行为完全由其大脑中的23,210个真实神经元决定,这些神经元来自FlyWire v783版本的果蝇大脑连接图,是科学家们通过电子显微镜扫描并重建的真实数据。现在,这些数据被赋予了生命,在你的macOS桌面上展现出前所未有的交互体验。
**从实验室到桌面:一只果蝇的数字化旅程**FlyWire项目是神经科学领域的一项重大突破,它通过电子显微镜技术绘制了果蝇完整的大脑连接图,包含了超过139,255个神经元和数以亿计的突触连接。这一项目由普林斯顿大学、霍华德·休斯医学研究所等机构的科学家共同完成,其成果发表在《Nature》等顶级期刊上。然而,FlyWire项目的数据通常只用于科学研究,鲜少有机会以直观的方式展现在普通用户面前。《DesktopFly》项目的作者DenisSergeevitch将FlyWire的神经连接图与macOS桌面环境结合,创造出了一只能够与用户互动的虚拟果蝇。这只果蝇不仅外观逼真,其大脑中的神经活动也是实时模拟的。当你移动鼠标时,果蝇会感知到"逼近"的威胁,并通过其大脑中的视觉神经元(LC4和LPLC2)做出反应。
如果威胁足够强烈,它甚至会通过巨纤维神经元(Giant Fiber)触发逃跑反应,在短短4毫秒内完成起飞动作 - - 这与真实果蝇的反应时间高度一致。**大脑与行为:从神经元到桌面动作**《DesktopFly》中的果蝇大脑由668个真实神经元组成,这些神经元通过约19,000个真实突触连接相互作用。这套神经回路模拟了果蝇的多种行为,包括行走、梳理、睡眠、逃跑等。具体来说:- **行走与休息**:果蝇的行走速度由DNp09神经元的放电率决定。当DNp09活跃时,果蝇会快速移动;当活动减弱时,它会停下来休息。- **转向**:果蝇的转向行为由DNa01和DNa02神经元控制。
左右两侧神经元的放电率差异决定了果蝇的转向方向和角度。- **梳理**:当DNg11神经元被激活时,果蝇会做出梳理触角的动作,这一行为在真实果蝇中非常常见。- **后退行走**:MDN神经元的爆发性放电会触发果蝇进行"月球漫步"式的后退行走。- **逃跑**:巨纤维神经元(DNp01)的放电会触发果蝇立即起飞,这是一种逃避天敌的本能反应。在《DesktopFly》中,当你快速移动鼠标靠近果蝇时,它会感知到"逼近"的威胁,并通过真实的神经回路触发逃跑反应。更神奇的是,果蝇的行为不仅受大脑控制,还与桌面环境互动。
例如,当果蝇行走到窗口边缘时,它会感知到"悬崖"的存在,并做出相应的反应。如果你拖动窗口,果蝇会"骑"在窗口上移动;如果你关闭窗口,果蝇会因突然的环境变化而受到惊吓。这些互动完全基于macOS的系统API,无需任何额外权限,体现了开发者对用户隐私的尊重。**桌面生态系统:果蝇的日常生活**《DesktopFly》不仅仅是一个展示神经科学数据的工具,它还为果蝇创造了一个完整的"桌面生态系统"。在这个生态系统中,果蝇的行为受到多种环境因素的影响:- **光照与昼夜节律**:果蝇是昼行性动物,在白天活跃,夜晚休息。在《DesktopFly》中,果蝇的活动模式也遵循这一规律。
当你的Mac进入睡眠模式时,果蝇会进入"睡眠"状态,呼吸变慢,对外界刺激的反应阈值提高。当你唤醒Mac时,它会先进行一番梳理,然后重新开始活动。- **温度**:果蝇是变温动物,体温受环境影响。在《DesktopFly》中,如果你的Mac运行时间过长导致温度升高,果蝇的活动速度也会相应加快;反之,如果Mac处于低温环境,果蝇的行动会变得迟缓。- **触觉与振动**:当你点击桌面时,果蝇会感知到"敲击"带来的振动,并做出相应的反应。如果点击发生在果蝇附近,它可能会受到惊吓并快速飞走。
- **视觉刺激**:当新窗口在果蝇附近弹出时,它会感知到"逼近"的视觉刺激,并通过视觉神经元触发逃跑反应。这种行为与真实果蝇对天敌的反应高度相似。**技术实现:从数据到交互**《DesktopFly》的技术实现涉及多个领域,包括神经科学、计算机图形学、实时渲染和桌面交互。以下是其核心技术组件:1. **神经模拟引擎**:果蝇的大脑由一个1kHz的泄漏积分-发放(LIF)模型驱动。这个模型基于FlyWire的真实神经连接数据,能够实时模拟神经元的放电活动。开发者使用Swift语言编写了模拟引擎,确保在macOS环境下能够高效运行。
2. **3D渲染与动画**:果蝇的3D模型和动画由SwiftUI和Metal框架实现。果蝇的行走、飞行、梳理等动作都是通过程序化生成的,确保动作的流畅性和真实性。此外,果蝇的大脑窗口使用Metal进行实时渲染,能够显示23,210个神经元的位置和活动状态。3. **桌面交互**:果蝇在桌面上的移动和行为由macOS的窗口管理API和鼠标事件驱动。开发者利用透明窗口和点击穿透技术,确保果蝇能够在桌面上自由移动,同时不干扰用户的正常操作。果蝇的行为还受到系统的温度传感器、时间传感器等硬件信息的影响。
4. **数据处理与ETL**:FlyWire的原始数据体积庞大,需要经过提取、转换和加载(ETL)才能用于实时模拟。开发者编写了Python脚本(etl.py)来处理原始数据,生成适合实时模拟的紧凑格式文件。这一过程确保了《DesktopFly》能够在普通Mac电脑上流畅运行。**安装与使用:让果蝇在你的桌面上生活**《DesktopFly》是一个开源项目,任何人都可以下载并运行它。安装过程非常简单:1. **前置要求**:macOS 13或更高版本,Xcode命令行工具(Swift 5.9+)。由于《DesktopFly》使用的是macOS的系统API,无需额外的权限或授权,完全符合苹果的隐私政策。
2. **下载与编译**: bash git clone https://github.com/DenisSergeevitch/desktop-fly.git cd desktop-fly ./build.sh ./DesktopFly ``` 编译完成后,桌面上会出现一个果蝇图标,你可以通过菜单栏控制果蝇的行为。3. **控制菜单**:在菜单栏的果蝇图标下,你可以找到多个控制选项: - **暂停/恢复**:冻结果蝇的所有行为,适合需要专注工作时。 - **显示/隐藏大脑窗口**:查看果蝇大脑的实时神经活动。 - **逃跑测试**:模拟逼近刺激,观察果蝇的逃跑反应。 - **移动到下一个显示器**:当你有多个显示器时,可以将果蝇转移到另一个屏幕。 - **添加/移除果蝇**:可以在桌面上添加多只果蝇(但只有第一只果蝇携带大脑模拟)。
- **惊吓果蝇**:让所有果蝇受到惊吓并快速飞走。4. **大脑窗口交互**:点击大脑窗口中的任何区域,可以"光遗传学"刺激附近的神经元,观察果蝇的反应。例如,点击巨纤维神经元会触发果蝇逃跑;点击梳理神经元会触发梳理行为。**科学与艺术的完美结合**《DesktopFly》不仅是一个有趣的桌面小工具,更是神经科学与计算机技术的一次创新融合。它让普通用户能够直观地感受到神经科学的复杂性和美妙之处。通过这只虚拟果蝇,我们可以看到:- **神经科学的可视化**:FlyWire的神经连接图通常只在科学论文中以抽象的图表形式出现,而《DesktopFly》将其转化为可交互的3D模型,让人能够直观地理解神经元之间的连接和活动。
- **实时交互的奇迹**:果蝇的行为完全由其实时模拟的神经活动决定,这意味着每一次互动都是独一无二的,没有预设的脚本或动画。- **跨学科的启发**:这个项目展示了如何将严肃的科学数据转化为有趣的用户体验,为未来的跨学科创新提供了范例。**未来展望:更多可能性**《DesktopFly》目前只是一个开源项目,但其潜力远不止于此。未来,我们可以期待以下改进和扩展:1. **更多物种的大脑模拟**:虽然目前只有一只果蝇,但理论上可以扩展到其他物种的大脑连接图,例如小鼠或人类的部分神经回路。2. **增强现实(AR)集成**:将《DesktopFly》与AR技术结合,让果蝇在现实世界中"生活",与用户进行更深层次的互动。3. **社区贡献**:由于项目是开源的,社区开发者可以贡献新的神经回路模型、3D模型或交互方式,使《DesktopFly》变得更加丰富多彩。
4. **教育应用**:这个项目可以作为神经科学的教育工具,帮助学生和公众更直观地理解大脑的工作原理。**结语:一只果蝇背后的宏大愿景**《DesktopFly》让我们看到了科技如何将严肃的科学转化为日常生活中的奇妙体验。这只小小的果蝇不仅仅是一个桌面小工具,它是连接神经科学与普通用户的桥梁,是艺术与技术的完美结合。当你在工作之余看到桌面上的果蝇悠闲漫步或突然惊慌飞走时,不妨停下来思考:这只果蝇背后的每一个动作,都是由真实的神经元活动驱动的,是科学家们数十年研究的结晶。在未来,我们或许会看到更多这样的"数字生命体"出现在我们的桌面上,它们不仅仅是装饰品,更是与我们共同生活的伙伴。而《DesktopFly》已经为我们展示了这一未来的可能性 - - 让科学不再遥远,让技术不再冷冰冰,让每一只虚拟果蝇都承载着对这个世界的好奇与探索。
。
