在协议实现中,常常需要用到Byte数组和Stream数据流,为了减少内存拷贝及GC回收,封装了数据包Packet类。Packet设计于2016年,最低支持.NET2.0/.NET4.0。.NETCore 2.1已经支持Span,正是Packet努力的目标,同时也表明Packet的设计方向正确无误!

Nuget包:NewLife.Core

源码地址:https://github.com/NewLifeX/X/tree/master/NewLife.Core/Data


核心原理

数据包Packet本质上就是对字节数组的一个包装,存储着这个字节数组的起始位置和有效长度,在切分新数据包时,实际上就是再次引用这个字节数据,改变起始位置和有效长度。理念上跟Span是一致的。

在现代计算机程序设计中,内存拷贝的损耗相当大,即使部分指令集支持SIMD,也仍然有不小的开销。

从以下字段属性能够看出其结构:

/// <summary>数据</summary>
public Byte[] Data { get; private set; }

/// <summary>偏移</summary>
public Int32 Offset { get; private set; }

/// <summary>长度</summary>
public Int32 Count { get; private set; }

/// <summary>下一个链式包</summary>
public Packet Next { get; set; }

/// <summary>总长度</summary>
public Int32 Total => Count + (Next != null ? Next.Total : 0);

Data 是数据数组,Offset 是起始位置,Count 是有效长度,该数据包表示的是Data中,从Offset开始共Count个字节的范围。


通过构造函数有多种形式得到数据包实例

        /// <summary>根据数据区实例化</summary>
        /// <param name="data"></param>
        /// <param name="offset"></param>
        /// <param name="count"></param>
        public Packet(Byte[] data, Int32 offset = 0, Int32 count = -1) => Set(data, offset, count);

        /// <summary>根据数组段实例化</summary>
        /// <param name="seg"></param>
        public Packet(ArraySegment<Byte> seg) => Set(seg.Array, seg.Offset, seg.Count);

        /// <summary>从可扩展内存流实例化,尝试窃取内存流内部的字节数组,失败后拷贝</summary>
        /// <remarks>因数据包内数组窃取自内存流,需要特别小心,避免多线程共用</remarks>
        /// <param name="stream"></param>
        public Packet(Stream stream)
        {
            if (stream is MemoryStream ms)
            {
                try
                {
#if NET46 || __CORE__
                    // 尝试抠了内部存储区,下面代码需要.Net 4.6支持
                    if (ms.TryGetBuffer(out var seg))
                        Set(seg.Array, seg.Offset, seg.Count);
                    else
#endif
                        Set(ms.GetBuffer(), (Int32)ms.Position, (Int32)(ms.Length - ms.Position));

                    return;
                }
                catch (UnauthorizedAccessException) { }
            }

            Set(stream.ToArray());
        }

最常用的是 data+offset+count,其次是 stream 构造。


获取设置

Packet提供了Set方法,用于更改内部数据区和偏移长度等。

/// <summary>设置新的数据区</summary>
/// <param name="data">数据区</param>
/// <param name="offset">偏移</param>
/// <param name="count">字节个数</param>
public virtual void Set(Byte[] data, Int32 offset = 0, Int32 count = -1);


Packet也支持按照索引去读写各个位置的字节数据,数据包的第n个位置,实际上就是Data的Offset+n位置。

/// <summary>获取/设置 指定位置的字节</summary>
/// <param name="index"></param>
/// <returns></returns>
public Byte this[Int32 index];


读取数据

Packet可以转为字节数组,ToArray用于把整个数据包变成一个字节数组,ReadBytes用于读取数据包某一段数据。

/// <summary>返回字节数组。如果是完整数组直接返回,否则截取</summary>
/// <remarks>不一定是全新数据,如果需要全新数据请克隆</remarks>
/// <returns></returns>
public virtual Byte[] ToArray();

/// <summary>从封包中读取指定数据</summary>
/// <param name="offset"></param>
/// <param name="count"></param>
/// <returns></returns>
public Byte[] ReadBytes(Int32 offset = 0, Int32 count = -1);


Packet也可以转为数据片段ArraySegment,或者数据片段集合,在网络发送时有用,避免拷贝。

/// <summary>返回数据段</summary>
/// <returns></returns>
public ArraySegment<Byte> ToSegment();

/// <summary>返回数据段集合</summary>
/// <returns></returns>
public IList<ArraySegment<Byte>> ToSegments();


Packet支持转为数据流,常用于序列化。

/// <summary>获取封包的数据流形式</summary>
/// <returns></returns>
public virtual MemoryStream GetStream();

/// <summary>把封包写入到数据流</summary>
/// <param name="stream"></param>
public void CopyTo(Stream stream);

/// <summary>异步复制到目标数据流</summary>
/// <param name="stream"></param>
/// <returns></returns>
public async Task CopyToAsync(Stream stream);


Packet还可以按照字符串编码输出为字符串,或者以十六进制编码输出字符串

/// <summary>以字符串表示</summary>
/// <param name="encoding">字符串编码,默认URF-8</param>
/// <param name="offset"></param>
/// <param name="count"></param>
/// <returns></returns>
public String ToStr(Encoding encoding = null, Int32 offset = 0, Int32 count = -1);

/// <summary>以十六进制编码表示</summary>
/// <param name="maxLength">最大显示多少个字节。默认-1显示全部</param>
/// <param name="separate">分隔符</param>
/// <param name="groupSize">分组大小,为0时对每个字节应用分隔符,否则对每个分组使用</param>
/// <returns></returns>
public String ToHex(Int32 maxLength = 32, String separate = null, Int32 groupSize = 0);


写入数据

Packet支持向内部某个位置写入一段数据

/// <summary>把封包写入到目标数组</summary>
/// <param name="buffer"></param>
/// <param name="offset"></param>
/// <param name="count"></param>
public void WriteTo(Byte[] buffer, Int32 offset = 0, Int32 count = -1);


总结

使用数据包Packet需要特别注意的是,各个Packet引用同一个Data,其中一个修改数据,将会影响到其它Packet对象。

Packet已经成为NewLife开源项目体系里面的二进制数据标准,包括Redis和RPC框架等多个地方都有优待处理。

此处为文档,点击链接查看:https://newlifex.com/go/doc/31526738


作者:大石头 发布:2021-02-19 16:02:25 浏览:1,245)