数据上云何所依?月光宝盒来助力。—————— 使用DataBox Edge数据传输

  最近遇到几个需求,都是要将数据从本地搬到云上,用作归档、处理等。很多时候,都认为这个很简单,无非是数据的上传而已。但在实际中却遇到很多问题。
  数据上云从一开始就要做好设计:是一次性搬迁还是持续的?放到云端什么存储服务里?是否还需要使用?使用方式是什么?等问题需要弄清楚,才能选择一个合适的数据上云方式。

  对于批量文件级数据上传,除了使用Azcopy或者从代码之外,Azure通过了DataBox服务,既可以批量一次性将数据离线上传到云,也可以通过一个数据网关,持续不断将新数据上传。这个数据网关就是今天的主角——DataBox Edge。
  DataBox Edge是一个放置在用户OP环境的设备,前端对OP展现为一个NAS设备(SMB或NFS),后端连接到Azure存储服务。当用户将数据通过以太网拷贝到DataBox Edge后,数据将自动上传至Azure存储。当遇到网络问题时,DataBox Edge会自动重传,无需用户干预,非常方便。
  DataBox Edge目前提供虚拟化的版本(Hyper-V或ESXi),用户无需购买专有硬件即可在本地部署。下边就以Hyper-V平台为例简单Demo。

DataBox Edge创建

  DataBox Edge的创建很简单,在Azure门户的所有服务里选择Azure Stack Edge/Data Box Edge并创建:
-w1151

  选择订阅、部署区域(注意,部署区域只是Data Box Gateway的部署区域,对将数据传输的目的存储账户区域无关,建议选择离本地数据中心最近的区域)、Ship to选择Data Box Gateway下的In your hypervisor:
-w1208

  点击应用后出来选项,点击Select即可:
-w633

  下一步创建资源,根据实际情况选择或创建资源组,并为创建的实例命名:
-w799

  创建完成后进入资源页面:
-w1066

  通过Device Setup进入本地设备的管理界面:
-w1209

  第一步就是根据实际的虚拟化平台选择合适的镜像文件下载:
-w591

  本次Demo以Hyper-V为例,所以下载Hyper-V的镜像,镜像下载完成后是Zip压缩文件,解压缩得到VHDX的镜像文件。

DataBox Edge的安装设置

  DataBox Edge对虚机有一定要求:

  • 至少4个vCPU
  • 至少8GB内存
  • 除了OS磁盘,还需要一个2TB的数据盘
      并且vCPU和内存必须是固定分配,如果是动态分配,虚机启动时会报错。
      将解压缩得到的VHDX镜像文件上传到一台启用Hyper-V的windows 2012 R2或更高版本的f服务器,并使用Hyper-V管理器创建虚机,虚机类型选择第二代:
    -w722

  网络根据实际情况选择:
-w719

  硬盘选择已存在的硬盘并定位到VHDX文件:
-w715

  其他保持默认即可。
  创建完虚机,先不要启动,进入设置修改。
  内存修改为8192MB,并不要启动动态分配:
-w725

  vCPU修改为4个:
-w735

  增加一块新的空硬盘,容量2TB(可以动态分配空间):
-w735

  启动虚机后,虚机将自动进行初始化配置:
-w1038

  此过程虚机将重启。
  出现如下界面时,发送Ctrl+Alt+Del登录:
-w1018

  默认密码:Password1,登录后虚机还将重启一遍。重启完成再次登录,虚机继续初始化网络等配置,直到如下界面:
-w1029

  初始配置完成(ip地址为虚机的实际ip)。
  在浏览器中打开https://ip,忽略安全警告,使用初始密码Password1登录:
-w665

  第一次登录需要修改密码:
-w502

  登录后界面如下:
-w1440

  现在需要将设备与Azure的Data Box Gateway资源连接。
  首先回到Azure的资源界面,在Device Setup的第四步选择生成key:

  拷贝生成的key回到设备界面,选择激活,输入key:
-w1440

  激活成功后设备连接至Azure:
-w1440

  连接有三种模式:
-w1440

  这里选择第一种Fully Connected模式。

创建共享并上传文件

  回到Azure的Data Box Gateway管理界面,选择左侧栏的Gateway-Get Start,按步骤创建共享:
-w1440

  首先创建用户,这是在OP端,登录DataBox Edge共享文件夹的用户:
-w1440

  然后添加共享:
-w1440

  需要为共享取个名字,确定存储账户(预先创建,不用在同一个Region),选择存储服务的类别。
  接着创建容器(可以选择现有容器,也可创建新容器,默认新容器与共享名相同),用户可以创建新用户也可以选择在第一步创建的用户:
-w1440

  第三步创建带宽计划,避免抢占带宽影响业务,这里demo就不创建了。
  完成后回到OP,在一台服务器用网络共享方式访问Data Box Edge:
-w1440

  输入创建的用户密码:
-w1440

  即可看到共享:
-w1440

  进入共享,现在是空的,拷入几个文件:
-w1440

  稍等一会儿,会发现文件的图标发生变化。左下角出现小叉:
-w1440

  这个标志说明文件传输完毕。
  现在到对应Azure存储账户的容器里查看:
-w1440

  可看到这些文件,上传成功。

总结

  Azure DataBox Edge为客户持续传输本地文件到Azure提供了一个很好的方式。无需硬件的投入,使用现有的虚拟化平台即可。也无需用户使用Azcopy等命令行工具或自己编写代码。并且内置的重传、缓存等机制大大减少了数据上传过程的人工干预,有效节省了人力。希望能尽快落地中国区,帮助大家更好的使用Azure。