概述
版本
| 运维平台版本 | 功能变更 |
|---|---|
| V2.37.0 | - |
功能简介
「Swift日志迁移」功能，把项目的 logdb 日志数据从 Swift 存储迁移到 ElasticSearch 存储。
迁移完成后，原先基于 logdb 的分析表切换数据连接即可继续查看和使用。
本功能支持以下两种场景：
1）单项目迁移日志：同一个项目从 Swift 存储切换为 ElasticSearch 存储。常见于工程宕机后改用 ElasticSearch 作为日志存储组件。
2）两项目迁移日志：把一个项目 Swift 存储的操作日志迁移到另一个项目的 ElasticSearch 存储中。常见于非运维平台部署的项目迁移到运维平台部署的项目。
单项目迁移日志
适用场景：同一个项目从 Swift 存储切换为 ElasticSearch 存储。常见于项目宕机后改用 ElasticSearch。此时「Swift 存储项目」与「Elasticsearch 连接项目」选择同一个项目。
前置条件
发起迁移前，先完成以下准备。选择项目后，平台会自动运行环境检查。
1）请确保运维平台版本在V2.37.0及以上版本。
2）请确保运维平台已与项目对接。
3）请确保项目中存在 Swift 存储的操作日志。如果从未启用过 Swift 存储操作日志，则无需使用「Swift日志迁移」功能。
4）请确保项目目前已启用 ElasticSearch 存储操作日志。详情请参见：项目对接ElasticSearch实现日志存储服务。
5）请确保 ElasticSearch 的剩余可用磁盘容量，大于当前 Swift 日志已占用的磁盘容量。
6）请确保运维平台当前无其他「Swift 日志迁移」任务进行中，同时只可运行一个迁移任务。
6）请选择非生产时间段执行迁移操作，因为迁移过程对服务器磁盘 IO 和网络 IO 占用均较高。
7）请知悉：当项目中 Swift 存储的操作日志全部迁移至 ElasticSearch 后，不支持回退到 Swift 存储。
操作步骤
1）管理员登录运维平台，单击「维护中心 > 项目迁移 > Swift 日志迁移」，进入迁移配置页面。
2）在「Swift 存储项目」与「Elasticsearch 连接项目」下拉框中选择同一个项目。
3）运维平台会对当前项目自动进行环境检查，全部检查项通过后继续。
相关检测项通过标准及解决方案如下表所示：
| 检查项 | 说明 |
|---|---|
| 任务空闲 | 报错：任务状态检查失败，请重试或查看日志 通过标准：运维平台和所选项目当前无其他「Swift 日志迁移」任务进行中 解决方案：请耐心等待其他「Swift 日志迁移」任务完成后，再执行此次迁移任务 |
| ElasticSearch 配置 | 报错：目标项目「xxx」未配置 Elasticsearch 日志库，请先在该项目配置后再迁移 通过标准：目标项目配置了 ElasticSearch 存储组件，且工程中安装并启用了「logdb的ElasticSearch实现」插件 解决方案：请参考文档实现：项目对接ElasticSearch实现日志存储服务 |
| 迁移插件 | 通过标准：目标项目工程中安装并启用了「平台日志数据迁移」插件 解决方案： 如检测到项目中未安装/启用该插件，运维平台会尝试自动为该工程安装插件，并再次进行检测。 如自动安装失败，请联系帆软技术支持获取该插件后，自行前往对应项目安装插件，详情请参见：服务器插件管理 |
| ElasticSearch 连通 | 通过标准：Swift 存储所在节点能连接 ElasticSearch 存储所在节点 解决方案：请联系服务器运维人员，开通网络连接。 |
| Swift 数据 | 报错：源项目（xxx）已启用 ES 日志插件，与 Swift 日志互斥，需先禁用插件并重启后才能读取 Swift 日志数据 通过标准：运维平台能从 Swift 存储中读取需要迁移的表 解决方案： 由于当前项目已启用 ES 日志插件，与 Swift 日志互斥，所以一般此项检测都无法通过。需先禁用「logdb的ElasticSearch实现」插件并重启后才能读取 Swift 日志数据。 请根据弹窗提示点击「自动切换（禁用 ES 插件并重启」，点击「确定」。
请耐心等待运维平台自动禁用项目内插件后，重启项目。
确保切换日志模式成功后，再进行迁移操作。
|
4）在「时间范围」中选择起止日期。默认值为当前项目 Swift 日志的开始时间至结束时间。
5）在「需迁移的日志」下拉框中选择日志表，支持多选或全选。
建议只选择有分析需求的日志表，优先迁移执行记录类日志（fine_record_execute）。
性能埋点类日志表数据量大，约占总日志量的 60%，若无分析需求可不迁移，以缩短迁移耗时。
6）单击「开始迁移」。
7）发起迁移后，页面显示迁移进度信息。
磁盘检测：如磁盘空间不足，则无法开始迁移。
迁移剩余时间：按当前迁移进度显示预计剩余时间。
迁移详情：显示日志表名、对应日志表、迁移进度。迁移进度以“已迁移表数 / 迁移表总数”显示。
本功能不支持暂停任务。任务若中途失败，系统会完全回退本次迁移。
8）迁移成功后，自动启动目标项目的ElasticSearch插件。弹窗提示：ElasticSearch logdb 插件已自动启用。迁移任务完成，项目「FineReport」的 ElasticSearch logdb 插件已恢复启用（修复 Swift/ES 数据冲突时被临时禁用，现已自动还原）
多项目迁移日志
适用场景：把一个项目 Swift 存储的操作日志迁移到另一个项目的 ElasticSearch 存储中。常见于非运维平台部署的项目迁移到运维平台部署的项目。
前置条件
发起迁移前，先完成以下准备。选择项目后，平台会自动运行环境检查。
1）请确保运维平台版本在V2.37.0及以上版本。
2）请确保同一运维平台已与两个项目对接。
3）请确保源项目未启用 ElasticSearch 存储。
4）请确保源项目中存在 Swift 存储的操作日志。如果Swift 未存储任何操作日志，则无需使用「Swift日志迁移」功能。
5）请确保目标项目目前已启用 ElasticSearch 存储操作日志。详情请参见：项目对接ElasticSearch实现日志存储服务。
5）请确保目标项目的 ElasticSearch 的剩余可用磁盘容量，大于源项目当前 Swift 日志已占用的磁盘容量。
6）请确保运维平台当前无其他「Swift 日志迁移」任务进行中，同时只可运行一个迁移任务。
6）请选择非生产时间段执行迁移操作，因为迁移过程对服务器磁盘 IO 和网络 IO 占用均较高。
操作步骤
1）管理员登录运维平台，单击「维护中心 > 项目迁移 > Swift 日志迁移」，进入迁移配置页面。
2）在「Swift 存储项目」与「Elasticsearch 连接项目」下拉框中选择对应项目。
Swift 存储项目：使用 Swift 存储操作日志的源项目
Elasticsearch连接项目：使用 ElasticSearch 存储操作日志的目标
3）运维平台会对所选项目自动进行环境检查，全部检查项通过后继续。
相关检测项通过标准及解决方案如下表所示：
| 检查项 | 说明 |
|---|---|
| 任务空闲 | 报错：任务状态检查失败，请重试或查看日志 通过标准：运维平台和所选项目当前无其他「Swift 日志迁移」任务进行中 解决方案：请耐心等待其他「Swift 日志迁移」任务完成后，再执行此次迁移任务 |
| ElasticSearch 配置 | 报错：目标项目「xxx」未配置 Elasticsearch 日志库，请先在该项目配置后再迁移 通过标准：「Elasticsearch连接项目」配置了 ElasticSearch 存储组件，且工程中安装并启用了「logdb的ElasticSearch实现」插件 解决方案：请参考文档实现：项目对接ElasticSearch实现日志存储服务 |
| 迁移插件 | 通过标准：「Elasticsearch连接项目」工程中安装并启用了「平台日志数据迁移」插件 解决方案： 如检测到项目中未安装/启用该插件，运维平台会尝试自动为该工程安装插件，并再次进行检测。 如自动安装失败，请联系帆软技术支持获取该插件后，自行前往对应项目安装插件，详情请参见：服务器插件管理 |
| ElasticSearch 连通 | 通过标准：Swift 存储所在节点能连接 ElasticSearch 存储所在节点 解决方案：请联系服务器运维人员，开通网络连接。 |
| Swift 数据 | 报错：源项目（xxx）已启用 ES 日志插件，与 Swift 日志互斥，需先禁用插件并重启后才能读取 Swift 日志数据 通过标准：运维平台能从 Swift 存储中读取需要迁移的表 解决方案：先禁用「logdb的ElasticSearch实现」插件并重启后才能读取 Swift 日志数据。 请根据弹窗提示点击「自动切换（禁用 ES 插件并重启」，点击「确定」。
请耐心等待运维平台自动禁用项目内插件后，重启项目。
确保切换日志模式成功后，再进行迁移操作。
|
4）在「时间范围」中选择起止日期。默认值为当前项目 Swift 日志的开始时间至结束时间。
5）在「需迁移的日志」下拉框中选择日志表，支持多选或全选。
建议只选择有分析需求的日志表，优先迁移执行记录类日志（fine_record_execute）。
性能埋点类日志表数据量大，约占总日志量的 60%，若无分析需求可不迁移，以缩短迁移耗时。
6）单击「开始迁移」。
7）发起迁移后，页面显示迁移进度信息。
磁盘检测：如磁盘空间不足，则无法开始迁移。
迁移剩余时间：按当前迁移进度显示预计剩余时间。
迁移详情：显示日志表名、对应日志表、迁移进度。迁移进度以“已迁移表数 / 迁移表总数”显示。
本功能不支持暂停任务。任务若中途失败，系统会完全回退本次迁移。
上一篇：项目对接ElasticSearch实现日志存储服务
