RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

时间:2022-10-05 06:50:48

编写目的

预期读者:

有视频编辑开发经验或者无经验的,打算或者正在使用“锐动IOS版RDVECore”的相关工程师。

iOS软件工程师。

产品经理。

QA

名词解释

分辨率:用于计算机视频处理的图像,以水平和垂直方向上所能显示的像素数来表示分辨率。常见视频分辨率的有1080P即1920x1080,720P即1080x720,640x480等。

帧率:每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。

码率: 数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。

宽高比:视频分辨率的宽高比,常见的有16:9,4:3,1:1。锐动视频编辑SDK对各宽高比的视频都支持编辑,导出的默认分辨率是640x360,宽高比是16:9。

素材:来自系统相机,其他app,电脑,网络的照片,音乐,视频等。

虚拟视频(VirtualVideo): 管理编辑中的包含场景、字幕水印等,用于预览或导出时的容器或管理者。

场景(Scene):包含编辑中的媒体对象。

视频变速:对视频播放速度调整,实现慢镜头或者快镜头效果。

视频配乐:选取本地或者网络音乐作为视频的背景音乐。

视频配音:通过mic phone对视频配音。

视频滤镜:调整视频的画面颜色效果。

滤镜特效:在视频里面增加颤抖,心跳等效果

时间特效:在视频里面增加慢动作,重复等效果

RDVECore功能概述

RDVECore是锐动推出的无UI,高度抽象化API的视频编辑SDK,支持以下功能:

3.1 丰富的编辑功能

RDVECore包含了丰富的基础功能,对于编辑中的视频、图片、音乐有各种
处理方式,并且可以根据实际的业务需求,进行搭配组合,所有处理都可以精确
到毫秒级,达到最专业的的要求,主要功能如下:

MV MV根据配置资源进行混合以及动画,增强短视频效果

滤镜 RDVEUISDK本身提供丰富的滤镜效果让开发者进行选择,同时用户还可以根据自己的需求进行滤镜扩展。

字幕特效 字幕特效支持在指定位置,指定时间段显示;实时预览效果

配音、配乐 支持指定时间段添加配音; 支持配音、配乐与视频原音比例调节; 支持本地添加更多配乐

截取、分割 支持毫秒级截取、分割视频; 支持快速预览截取、分割后视频

调速 调整视频的播放速度,快放或者慢放

转场 支持多种转场; 支持随机转场、指定转场时长等扩展设置

其它编辑功能 支持多种比例裁剪; 支持90、180、270度旋转视频画面; 支持左右镜像、上下镜像; 支持输出比例调整;

3.2 完善的视频拍摄功能

  • 实时美颜 可以在拍摄过程中实时人脸美肤,提亮、美白等效果,达到人脸美化,同时支持美化程度的调节
  • 人脸贴纸/挂件 支持人脸识别及贴纸/挂件显示
  • 拍摄*定义
  • RDVECore在拍摄过程中,可以根据具体的录制需求,进行*化的设定,拥有更佳优异的拍摄录制效果。

多段拍摄 一个视频可以分多段次拍摄

摄像头切换 前、后摄像头*切换,中间无卡顿

多比例支持 支持1:1 、9:16、16:9多个比例录制

变焦、对焦 通过相应手势可以缩放摄像头采集画面及清晰度

  • 滤镜 

在拍摄过程中,除了实时美颜,同时还可以实时添加滤镜效果,RDVEUISDK本身提供丰富的滤镜效果让开发者进行选择,同时用户还可以根据自己的需求进行滤镜扩展。

  • 照片 当前摄像头画面保存到图片 

RDVECore架构图:

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

RDVECore简要流程图:

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

XCode集成步骤

4.1  运行环境

SDK支持iOS7.0及以上版本的设备,兼容iPhone、iPad、iPod touch

4.2 注册申请AppKey和APPSecret

4.2.1  打开 http://www.rdsdk.com/ ,在锐动官网首页选择登 录或注册,新用户先注册,老用户直接登录。 


4.2.2  登录完成后,进入视频云管理 点击“+新增,填写您应 用的名称等,点击提交,应用创建完成。 


4.2.3  创建应用完成后会自动跳转至个人中心页面,此时会获 取到该应用的 AppKey  AppSecret 

4.3 下载并导入SDK

4.3.1  添加静态库libRDVECore.a和头文件

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

4.3.2  添加RDVECore.bundle

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

4.3.3  工程设置

l TARGETS的Deployment Info仅勾选竖屏(Portrait),横屏(LandscapeLeft、LandscapeRight)不勾选:

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

l IOS10适配

在 Info.plist 中 添 加 NSCameraUsageDescription 、

NSMicrophoneUsageDescription、NSPhotoLibraryUsageDescription。

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

l 添加引用苹果官方库

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

如果录制时使用faceU,还需要引用库Accelerate.framework

RDVECore来自锐动的无UI,高度抽象化API的视频编辑SDK

l 设置 Other Linker Flags


在 TARGETS->Build Settings->Other Linker Flags 中加入-ObjC。

4.4 编辑视频

4.4.1 引入头文件始化

#import "RDVECore.h"

/**  初始化对象

*

*  @param appkey          在锐动SDK官网(http://www.rdsdk.com/ )中注册的应用Key。

*  @param appsecret       在锐动SDK官网(http://www.rdsdk.com/ )中注册的应用秘钥。

*  @param  size           视频分辨率

*  @param  fps            视频帧率(1-30)

*  @param resultFailBlock 初始化失败的回调[error:初始化失败的错误码]

*/

- (instancetype) initWithAPPKey:(NSString *)appkey

APPSecret:(NSString *)appsecret

videoSize:(CGSize)size

fps:(int)fps

resultFail:(void (^)(NSError *error))resultFailBlock;

4.4.2 构造虚拟视频并添加到播放器

1、 构造一个或多个场景,并设置场景的相应属性

NSMutableArray *scenes = [NSMutableArray new];

RDScene *scene = [[RDScene alloc] init];

(设置场景的相应属性)

[scenes addObject:scene];

2、 将场景添加到播放器中

[_videoCoreSDK addScenes:scenes];

3、 设置播放器属性

_videoCoreSDK.frame = CGRectMake(0, 0, [UIScreen mainScreen].bounds.size.width, [UIScreen mainScreen].bounds.size.width);

_videoCoreSDK.delegate = self;

_videoCoreSDK.shouldRepeat = YES;

4、 构造虚拟视频

[_videoCoreSDK build];

5、 将播放器添加到视图中

[self.view addSubview:_videoCoreSDK.view];

4.4.3 MV

1、 初始化MV

NSMutableArray *selectMVEffects = [NSMutableArray array];

VVMovieEffect *mvEffect = [[VVMovieEffect alloc] init];

[selectMVEffects addObject:mvEffect];

2、 设置MV属性

//MV路径

@property (nonatomic,strong) NSURL* _Nullable url;

//MV显示时长

@property (nonatomic,assign) CMTimeRange timeRange;

//MV类型

@property (nonatomic,assign) RDVideoMVEffectType type;

3、 将MV添加到播放器中,或者将MV从播放器中移除

1) 添加[_videoCoreSDK addMVEffect:selectMVEffects];

2) 移除[_videoCoreSDK addMVEffect:nil];

4、 重新构造虚拟视频

[_videoCoreSDK build];

4.4.4 配乐

1、 初始化配乐

RDMusic *music = [[RDMusic alloc] init];

2、 设置配乐属性

/**音乐总时间范围

*/

@property (nonatomic, assign) CMTimeRange timeRange;

/**音乐截取时间范围

*/

@property (nonatomic, assign) CMTimeRange clipTimeRange;

/**音乐名称

*/

@property (nonatomic, strong) NSString *_Nullable name;

/**音量(0.0-1.0),默认为1.0

*/

@property (nonatomic, assign) float volume;

/**是否重复播放

*/

@property (nonatomic, assign) BOOL isRepeat;

3、 将配乐添加到播放器中,或者将配乐从播放器中移除

1) 添加:[_videoCoreSDK addMusic:music];

2) 移除:[_videoCoreSDK addMusic:nil];

4、 重新构造虚拟视频

[_videoCoreSDK build];

4.4.5 配音

1、 初始化配音

NSMutableArray *dubbingArr = [NSMutableArray array];

RDMusic *music = [[RDMusic alloc] init];

[dubbingArr addObject:music];

2、 设置配音属性:同配乐

3、 将配音添加到播放器中,或者将配音从播放器中移除

1) 添加:[_videoCoreSDK addDubbingMusics:dubbingArr];

2) 移除:[_videoCoreSDK addDubbingMusics:nil];

4、 重新构造虚拟视频

[_videoCoreSDK build];

4.4.6 字幕、特效

1、 在初始化播放器时设置

_videoCoreSDK.frameLayerBlock = ^(CMTime currentTime, CALayer *layer) {

[weakSelf addSubLayerToFront:layer time:currentTime];

};

2、 初始化字幕(特效)

NSMutableArray *effects = [NSMutableArray array];

RDCaption *caption = [[RDCaption alloc] init];

[effects addObject:caption];

3、 设置字幕(特效)属性

/**字幕中心坐标点比例

*/

@property (nonatomic ,assign) CGPoint captionCenter;

/**字幕宽度点比例

*/

@property (nonatomic ,assign) CGFloat widthProportion;

/**字幕帧率

*/

@property (nonatomic ,assign) CGFloat fps;

/**字幕时间范围

*/

@property (nonatomic ,assign) CMTimeRange timeRange;

/**字幕旋转角度

*/

@property (nonatomic ,assign) float angle;

/**字幕缩放大小

*/

@property (nonatomic ,assign) float scale;

/**id

*/

@property (nonatomic ,assign) NSInteger pid;

/**贴图类型 0 带文字,1 不带文字

*/

@property (nonatomic ,assign) NSInteger type;

/** 字幕图片文件路径

*/

@property (nonatomic ,copy) NSString *_Nullable path;

/**图片前缀名字

*/

@property (nonatomic ,copy) NSString *_Nullable name;

/**持续时间

*/

@property (nonatomic ,assign) float duration;

/**多少图片

*/

@property (nonatomic ,assign) NSInteger count;

/**图片区域

*/

@property (nonatomic ,assign) CGRect frame;

/**原始图片大小

*/

@property (nonatomic ,assign) CGSize size;

/**图片文字

*/

@property (nonatomic ,copy) NSString *_Nullable pText;

/** 文字图片

*/

@property (nonatomic ,strong) UIImage *_Nullable tImage;

/**文字字体名称

*/

@property (nonatomic ,copy) NSString *_Nullable tFontName;

/**文字字体大小

*/

@property (nonatomic ,assign) float tFontSize;

/** 文字旋转度数

*/

@property (nonatomic ,assign) float tAngle;

/**文字颜色

*/

@property (nonatomic ,strong) UIColor *_Nullable tColor;

/**文字描边颜色

*/

@property (nonatomic ,strong) UIColor * _Nullable strokeColor;

/**文字描边宽度

*/

@property (nonatomic ,assign) float strokeWidth;

/** 文字区域

*/

@property (nonatomic ,assign) CGRect  tFrame;

/**文字开始时间

*/

@property (nonatomic ,assign) float  tBegin;

/**文字结束时间

*/

@property (nonatomic ,assign) float  tEnd;

/**帧动画

*/

@property (nonatomic ,strong) NSArray *_Nullable frames;

/**时间动画

*/

@property (nonatomic ,strong) NSArray *_Nullable times;

/** 字幕是否支持拉伸

*/

@property (nonatomic, assign) BOOL tStretching;

/**字幕拉伸的

*/

@property (nonatomic ) UIEdgeInsets edgeInsets;

/**字幕拉伸的

*/

@property (nonatomic ) CGRect contentsCenter;

/**音乐

*/

@property (nonatomic , strong) RDMusic *_Nullable music;

4、 初始化CaptionLayer

CaptionLayer* captionLayer = [[CaptionLayer alloc] initWithCaption:caption videoSize:videoSize];

* videoSize:初始化播放器时,设置的视频分辨率

5、 在字幕(特效)的显示范围(timeRange)内,将captionLayer添加到1、中的layer上。

具体参照RDVEUISDK。

4.4.7 滤镜

1、 添加所有的滤镜

NSMutableArray *globalFilters = [NSMutableArray array];

1) 初始化滤镜

RDFilter* filter = [RDFilter new];

[globalFilters addObject:filter];

2) 设置滤镜属性

/**滤镜类型

*/

@property (nonatomic,assign)NSInteger type;

/**滤镜名称

*/

@property (nonatomic,copy  )NSString *name;

/**滤镜acv地址

*/

@property (nonatomic,copy  )NSString *acvPath;

3) 添加所有滤镜

[_videoCoreSDK addGlobalFilters:globalFilters];

2、 设置滤镜

[_videoCoreSDK setGlobalFilter:selectFilterIndex];

4.4.8 倒放

/** 倒序

*params: url           视频源地址

*params: outputUrl     输出路径

*params: timeRange     倒序时间范围

*params: videoSpeed    视频速度

*params: progressBlock 倒序进度回调

*params: finishBlock   结束回调

*params: failBlock     失败回调

*params: cancel        是否取消

*/

+ (void)exportReverseVideo:(NSURL *)url

outputUrl:(NSURL *)outputUrl

timeRange:(CMTimeRange)timeRange

videoSpeed:(float)speed

progressBlock:(void (^)(NSNumber *prencent))progressBlock

callbackBlock:(void (^)())finishBlock

fail:(void (^)())failBlock

cancel:(BOOL *)cancel;

4.4.9 水印

/**添加水印

*  @param image    水印图片

*  @param point    水印在视频中相对于左上角的位置(值为:0.0~1.0)

*  @param scale    水印的缩放比例,默认为1(图片的原始大小)

*/

- (void) addWaterMark:(UIImage *)image withPoint:(CGPoint)point scale:(CGFloat)scale;

/**添加文字水印

*  @param waterText    水印文字

*  @param waterColor   水印文字的颜色

*  @param waterFont    水印文字的字体

*  @param point        水印在视频中相对于左上角的位置(值为:0.0~1.0)

*/

- (void) addWaterMark:(NSString *)waterText color:(UIColor *)waterColor font:(UIFont *)waterFont withPoint:(CGPoint)point;

/**移除水印

*/

- (void)removeWaterMark;

/**添加片尾LOGO

*  @param logoImage    LOGO图片

*  @param userName     用户名

*  @param showDuration 展示时长

*  @param fadeDuration 淡入时长

*/

- (void) addEndLogoMark:(UIImage *)logoImage userName:(NSString *)userName showDuration:(float)showDuration fadeDuration:(float)fadeDuration;

/**移除片尾LOGO

*/

- (void)removeEndLogoMark;

4.4.10 获取缩略图

/**获取某个时间点的缩略图

*/

- (UIImage*)getImageAtTime:(CMTime) outputTime scale:(float) scale;

4.4.11 导出视频

/** 导出视频

*params: movieURL     输出路径

*params: size         分辨率大小

*params: bitrate      码率(例:设置为5M码率,传值为5)

*params: fps          帧率

*params: maxExportVideoDuration 最大导出时长 默认为0 不限制

*params: progress     导出进度

*params: success      完成

*params: fail         失败

*/

- (void)exportMovieURL:(NSURL*) movieURL

size:(CGSize) size

bitrate:(int)bitrate

fps:(int)fps

maxExportVideoDuration:(float)maxExportVideoDuration

progress:(void(^)(float))progress

success:(void(^)())success

fail:(void(^)(NSError*))fail;

/** 取消导出

*/

- (void)cancelExportMovie:(void(^)())cancelBlock;

4.4.12 编辑完成后释放

[_videoCoreSDK stop];

_videoCoreSDK.delegate = nil;

_videoCoreSDK = nil;

4.5 录制视频

4.5.1 引入头文件始化

#import "RDCameraManager.h"

/**  初始化对象

*

*  @param appkey          在锐动SDK官网(http://www.rdsdk.com/ )中注册的应用Key。

*  @param appsecret       在锐动SDK官网(http://www.rdsdk.com/ )中注册的应用秘钥。

*  @param resultFailBlock 初始化失败的回调[error:初始化失败的错误码]

*/

- (instancetype) initWithAPPKey:(NSString *)appkey

APPSecret:(NSString *)appsecret

resultFail:(void (^)(NSError *error))resultFailBlock;

4.5.2 录制前设置录制相关参数

/** 录制之前准备,用于设置录制相关参数。

*  @param  frame       录制预览视图位置大小

*  @param  superview   源视图控制器

*  @param  bitrate     录制码率

*  @param  fps         录制帧率

*  @param  mode        录制视频方式:YES:正方形   NO:全屏

*  @param  size        录制视频分辨率

*  @param  isFront     是否是前置摄像头录制

*  @param  faceU       是否使用faceU

*/

- (void) prepareRecordWithFrame:(CGRect)frame

superview:(UIView *)superview

bitrate: (int) bitrate

fps: (int) fps

mode: (BOOL) mode

writerSize: (CGSize) size

isFront:(BOOL) isFront

faceU:(BOOL) faceU;

//左右滑动录制预览视图时,是否切换滤镜。默认为YES(切换)

@property (nonatomic, assign) BOOL swipeScreenIsChangeFilter;

//美颜状态

@property (nonatomic , assign) BeautifyState beautifyState;

/** 设置对焦图片

*/

- (void) setfocus;

4.5.3 录制

/** 启用预览

*/

- (void) startCamera;

/** 关闭预览

*/

- (void) stopCamera;

/** 开始录制

*/

- (void) beginRecording;

/** 停止录制

*/

- (void) stopRecording;

/** 拍照

*/

- (void) takePhoto:(int)orientation block:(void(^)(UIImage* image)) func;

/** 聚焦

*/

- (void) focus:(UITapGestureRecognizer *)tap;

/** 切换录制视频方式

*  @parma mode:YES:正方形   NO:全屏

*  @parma frame:录制预览视图位置大小

*/

- (void) changeMode:(BOOL) mode cameraScreenFrame:(CGRect)frame;

4.5.4 录制回调

/** 滑动切换到的当前滤镜Index

*/

- (void) sendFilterIndex:(NSInteger) index;

/** 聚焦时回调

*/

- (void) tapTheScreenFocus;

/** 启用预览(startCamera)后回调。

*  可用于收到此回调前,界面上录制相关按钮不可用。

*/

- (void) cameraScreenDid;

/** 当前录制时间

*/

- (void) currentTime:(float) time;

/** 滑动录制预览视图开始

*  @params swipDirection (0 :左划 1:右划)

*/

- (void) swipeScreenBegin:(NSInteger)swipDirection;

/** 滑动录制预览视图中

*  @param percent  滑动动预览视图中的位置

*  @param swipDirection (0 :左划 1:右划)

*/

- (void) swipeScreenChanging:(float)percent swipDirection:(NSInteger)swipDirection;

/** 滑动录制预览视图结束

*  @params swipDirection (0 :左划 1:右划)

*/

- (void) swipeScreenChangeEnd:(NSInteger)swipDirection;

/** 录制开始

*/

- (void) movieRecordBegin;

/** 录制取消

*/

- (void) movieRecordCancel;

/** 录制结束

*/

- (void) movieRecordingCompletion:(NSURL *) videoUrl;

4.5.5 faceU

//人脸道具贴纸证书

@property (nonatomic , assign) void* faceUAuth;

//人脸道具贴纸证书长度

@property (nonatomic , assign) unsigned int faceUAuthlength;

//瘦脸 0.0~1.0     默认0.68

@property (nonatomic , assign) float cheekThinning;

//大眼 0.0~2.0     默认1.53

@property (nonatomic , assign) float eyeEnlarging;

//美白 0.0~1.0     默认0.48

@property (nonatomic , assign) float colorLevel;

//磨皮 1 2 3 4 5 6   默认3

@property (nonatomic , assign) float blurLevel;

//瘦脸等级 0.0 ~ 1.0 默认1.0

@property (nonatomic , assign) float faceShapeLevel;

//瘦脸类型

@property (nonatomic , assign) float faceShape;

/** 切换FaceUItem

*/

- (void) changeFaceUItem:(NSString*) itemString withName:(NSString*)name;

4.5.6 录制时播放音乐

/**使用音乐路径

*/

- (void)setMusic:(NSURL *)musicUrl;

/** 播放音乐  rate(极慢:1.0/3.0 慢:1.0/2.0 正常:1.0 快:2.0 极快:3.0)

*/

- (void)playMusic:(float)rate;

/** 暂停音乐

*/

- (void)pauseMusic;

/** 停止播放音乐

*/

- (void)stopMusic;

4.5.7 滤镜

/** 添加滤镜组

*/

- (void) addFilters:(NSArray <RDFilter *> *) filters;

/** 设置滤镜

*/

- (void) setFilterAtIndex:(NSInteger ) index;

/** 移除滤镜组

*/

- (void) removeFilters;

4.5.8 合并及倒序

/** 合并录制文件

*/

- (void)mergeAndExportVideosAtFileURLs:(NSArray<RDCameraFile *> *)fileArray

progress:(void(^)(NSNumber *progress))progressBlock

finish:(void(^)(NSURL *videourl))finish

fail:(void(^)(NSError *error))fail

cancel:(void(^)())cancel;

/** 取消合并

*/

- (void)cancelMerge;

/** 倒序

*params: url           视频源地址

*params: outputUrl     输出路径

*params: timeRange     倒序时间范围

*params: progressBlock 倒序进度回调

*params: callbackBlock 结束回调

*params: failBlock     失败回调

*/

- (void)exportReverseVideo:(NSURL *)url

outputUrl:(NSURL *)outputUrl

timeRange:(CMTimeRange)timeRange

progressBlock:(void (^)(NSNumber *prencent))progressBlock

callbackBlock:(void (^)())callbackBlock

fail:(void (^)())failBlock;

4.5.9 获取带滤镜效果的截图

/** 获取带滤镜的缩略图

*/

+(void) returnImageWith:(UIImage *)inputImage

Filter:(RDFilter *)obj

withCompletionHandler:(void (^)(UIImage *processedImage))block;

4.5.10 录制完成后释放

[_cameraManager stopCamera];

[_cameraManager deleteItems];

_cameraManager.delegate = nil;

_cameraManager = nil;